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Buyya- 等 人 带 我 们 踏 上 云 计 算 的 征途 ， SRA PRIS) AK. MARBRA, MIRED OMAP A E 
应 用 ,激发 我 们 产生 学 术 研 究 兴 趣 ， 并 指导 我 们 掌握 工业 实践 方法 从 虚拟 化 和 线程 理论 基础 、 到 云 计算 在 基 
因 表 达 和 客户 关系 管理 中 的 应 用 ， 都 进行 了 深入 的 探索 


- Dejan Milojicic, HP'S, 2014F IEEE TALE EM 


本 书 介绍 云 计 算 基 本 原理 和 云 应 用 开发 方法 。 未 来 的 应 用 开发 将 不 再 依赖 于 单一 计算 机 ， 而 是 在 云 数 据 中 

心 的 一 台 或 多 台 虚 拟 服务 器 上 进行 ， 并 且 可 以 在 任何 时 间 、 从 任何 地 点 访问 。 未 来 的 开发 者 必须 掌握 云 计 算 技 

术 ， 包 括 并 行 编程 、 高 性 能 计算 和 数据 密集 型 系统 。 本 书 提供 与 这 些 技 术 密切 相关 的 实例 、 练 习 以 及 Aneka 云 
台 实 验 环境 。 


本 书 特点 

详细 解析 虚拟 化 云 计算 环境 中 应 用 程序 的 设计 和 实现 方法 。 

提供 实验 和 测试 的 真实 云 系 统 环境 一 一 Aneka 云 平台 。 

展示 丰富 的 云 应 用 实例 ， 涉 及 科学 、 商 业 、 能 效 等 众多 方面 。 

配套 网 站 ( www.buyya.com/MasteringClouds/ ) 提供 多 种 免费 教 辅 资源 。 
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文艺 复兴 以 来 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规范 ， 使 西方 国家 在 自然 科学 的 
各 个 领域 取得 了 垄断 性 的 优势 ; 也 正 是 这 样 的 优势 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 
家 幸 出 、 独 领 风骚 。 在 商业 化 的 进程 中 ,美国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 
学 科 中 的 许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科 学 著作 ， 不 仅 璧 
划 了 研究 的 范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 
因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ,我 国 的 计算 机 产业 发 展 迅 猛 ， 对 专业 人 才 的 需求 日 
人 次 担 切 。 这 对 计算 机 教育 界 和 出 版 寞 都 既是 机 遇 ， 也 是 挑战 ; 而 专业 教材 的 建设 在 教育 战略 
上 显得 举足轻重 。 在 我 国信 息 技 术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国家 在 其 计算 机 科学 
发 展 的 几 十 年 间 积 汪 和 发 展 的 经 典 教 材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计 
算 机 教材 将 对 我 国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 
的 世界 一 流 大 学 的 必由之路 。 

机 械 工 业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ” 。 目 1998 年 开始 ， 我 们 
就 将 工作 重点 放 在 了 遂 选 、 移 译 国 外 优秀 教材 上。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson， 
McGraw-Hill, Elsevier, MIT, John Wiley & Sons, Cengage 等 世界 著名 出 版 公司 建立 了 良 
好 的 合作 关系 , 从 他 们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum, Bjarne Stroustrup, 
Brain W. Kernighan, Dennis Ritchie, Jim Gray，Afred V. Aho, John E. Hopcroft, Jeffrey 
D. Ullman, Abraham Silberschatz, William Stallings, Donald E. Knuth, John L. Hennessy, 
Larry L. Peterson 等 大 师 名 家 的 一 批 经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 
学 习 、 研 究 及 珍藏 。 大 理 石 纹 理 的 封面 ， 也 正体 现 了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 易 力 相助 ， 国 内 的 专家 不 仅 提 供 了 
中 肯 的 选 题 指 导 ， 还 不 酬劳 苦 地 担任 了 翻译 和 审 校 的 工作 ; 而 原 书 的 作者 也 相当 关注 其 作品 
在 中 国 的 传播 ， 有 的 还 专门 为 其 书 的 中 译本 作 序 。 迄 今 ,“ 计 算 机 科学 丛书 ”已 经 出 版 了 近 
两 百 个 品种 ， 这 些 书 籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采用 为 正式 教材 和 参考 书 
籍 。 其 影印 版 “经 典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因 素 使 我 们 的 
图 书 有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐渐 
深化 ， 教 育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 人 一 个 新 的 阶段 ， 我 们 的 目标 是 尽 善 尽 
美 ， 而 反馈 的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公 司 欢迎 老师 和 读者 对 我 们 
的 工作 提出 建议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 

华章 网 站 : www.hzbook.com 

电子 邮件 : hzjsj@hzbook.com 

联系 电话 : ( 010 ) 88379604 a 

联系 地 址 : 北京 市 西城 区 百 万 庄 南 竺 1 号 华章 教育 

邮政 编码 : 100037 华章 科技 图 书 出 版 中 心 
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云 计算 是 在 传统 计算 机 科学 基础 上 发 展 起 来 的 新 兴 技 术 。 随 着 移动 设备 的 大 量 普及 、 网 
络 与 计算 成 本 的 大 幅 降低 以 及 用 户 计算 需求 的 不 断 提升 ， 传 统 的 PC 计算 模式 必 将 向 以 云 数 
据 中 心 为 核心 的 云 计算 模式 转移 。 同 时 ， 云 计算 技术 所 提供 的 强大 的 计算 能 力 、 低 廉 的 成 本 
以 及 按 需 服务 的 模式 将 会 从 根本 上 推动 计算 密集 型 应 用 的 进一步 发 展 ， 以 及 全 球 计算 能 力 的 
全 方位 释放 。 

由 于 涉及 计算 机 科学 领域 的 专业 知识 和 技术 ， 所 以 对 普通 研发 人 员 而 言 ， 云 计算 技术 兢 
有 些 阳春 白雪 的 意味 。 究 其 根源 ， 云 计算 技术 是 学 术 研 究 与 工程 开发 的 集合 体 。 一 方面 ， 研 
究 人 员 在 有 好 的 想法 或 者 概念 的 情况 下 ， 需 要 一 个 良好 的 云 计 算 模 型 与 原型 系统 来 验证 所 提 
出 的 方法 ; 另 一 方面 ， 工 程 人 员 则 由 于 专业 背景 知识 的 缺乏 ， 而 很 难 进入 真正 的 云 计算 技术 
开发 领域 。 

作为 云 计算 技术 领域 的 先驱 者 和 领导 者 ， 本 书 作 者 一 一 澳大利亚 墨尔本 大 学 计算 机 科学 
系 著名 教授 Rajkumar Buyya， 长 期 从 事 网 格 计算 及 云 计算 技术 研究 ， 研 究 成 果 得 到 学 术 界 
与 工业 界 的 广泛 认可 。 本 书 集 成 了 Buyya 教授 在 云 计 算 领 域 多 年 的 研究 成 果 ， 从 云 计算 基 
础 、 应 用 平台 和 编程 技术 三 个 方面 ， 利 用 11 个 章节 详细 介绍 云 计 算 技 术 的 起 源 、 发 展 、 核 
心 技术 及 其 范式 、 典 型 云 计算 平台 以 及 编程 技巧 等 重要 内 容 。 本 书 内 容 丰 富 、 深 入 浅 出 ， 并 
包含 配套 习题 ， 适 合 不 同 层 次 的 云 计算 技术 研发 人 员 使 用 。 同 时 ， 本 书 清晰 的 思路 、 严 谨 的 
技术 框架 和 详尽 的 实例 讲解 也 使 其 成 为 适用 于 计算 机 相关 学 科 本 科 生 及 研究 生 教学 的 不 可 多 
得 的 优秀 教材 。 

参与 本 书 翻 译 工 作 的 人 员 均 多 年 从 事 云 项 目 相 关 工 作 ， 对 云 计算 前 沿 问题 的 研究 及 
教学 都 有 较 深 刻 的 理解 。 本 书 前 言 、 第 1 ~ 4 章 及 索引 由 刘 丽 (北京 科技 大 学 自动 化 学 院 
副教授 ) 翻译 , 第 5 一 8 章 由 米 振 强 (北京 科技 大 学 计算 机 与 通信 工程 学 院 讲师 ) 翻译 ， 
第 9 一 11 章 由 能 曾 刚 (湖北 工程 学 院 计 算 机 与 信息 科学 学 院 教授 ) 翻译 ， 全 书 由 刘 丽 统 
稿 。 北 京 科技 大 学 的 研究 生 张 森 、 翟 颖 奇 、 夏 筋 娴 、 徐 安 琪 、 谢 翔 、 潘 梦 圆 、 李 萌 、 何 苗 、 
陆 源 等 同学 协助 进行 资料 收集 ， 并 参与 了 部 分 章节 的 初稿 翻译 工作 . 

感谢 机 械 工 业 出 版 社 引 进 此 书 并 为 本 书 的 出 版 付出 大 量 努 力 , 使 IT 从 业 人 员 和 计算 机 
相关 专业 学 生 从 中 受益 。 特 别 感谢 本 书 作者 Rajkumar Buyya 教授 对 翻译 过 程 中 遇 到 的 问题 
进行 解答 。 

需要 说 明 的 是 ， 本 书 翻 译 工作 和 云 计 算 研 究 工 作 得 到 以 下 项 目的 资助 和 支持 : 国家 自 
然 科 学 基金 项 目 “ 互 联 云 环境 中 基于 效用 模型 的 跨 云 协同 服务 优化 研究 (No. 61370132 )、 
“大 数据 环境 下 基于 视觉 主题 模型 的 视觉 数据 分 类 方法 研究 (No. 61370092 )”、“ 互 联 云 环 
境 下 面向 数据 中 心 的 服务 资源 分 配 与 调度 机 制 研 究 (No. 61472033 )”， 国 家 高 技术 研究 发 展 
计划 (863 计划 ) 项 目 “ 城 市 多 模式 数据 系统 互联 技术 与 支撑 环境 (No. 2013AA01A601 )”, 
以 及 湖北 省 自然 科学 基金 项 目 “ 云 计算 环境 下 内 容 语 义 信任 度量 与 评估 方法 研究 


(No. 2013CFC005 )” 和 湖北 省 高 等 学 校 优 秀 中 青年 科技 创新 团队 计划 项 目 “ 云 计 算 环 境 下 智 
能 信息 处 理 技 术 研 究 (No. T201410 )”。 

由 于 译 者 对 云 计 算 相 关 变 音 性 技术 的 理解 有 待 加深， 而 且 许 多 新 出 现 的 专业 术语 还 没有 
公认 的 译 法 ， 所 以 在 翻译 过 程 中 难免 出 现 一 些 不 够 清楚 的 表述 ， 知 有 不 妥 之 处 ， 奶 请 广大 读 
者 批评 指正 ， 电 子 邮 箱 liuli@ustb.edu.cn。 
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随 着 互联 网 与 WebHRWREREMER, URSA. BARE., ekira 
功能 的 不 断 强大 ， 人 与 人 之 间 的 交互 方式 、 商 业 行 为 以 及 获取 和 提供 服务 的 模式 都 在 发 生变 
化 。 低 成 本 的 计算 与 通信 驱动 了 从 单一 计算 方式 向 以 数据 中 心 为 核心 的 计算 方式 的 转变 。 尽 
管 并 行 与 分 布 式 计 算 在 IT 行业 已 经 存在 多 年 ， 但 其 新 的 形式 一 一 多 核 和 云 计 算 为 IT 行业 市 
来 了 彻底 的 变革 。 这 种 发 展 趋势 将 促使 开行 业 从 PC 应 用 开发 模式 转变 为 支持 数 百 万 用 户 
同时 使 用 软件 的 云 数 据 中 心 模式 。 

计算 向 商业 服务 模式 变革 ， 这 种 计算 服务 类 似 于 传统 的 公共 基础 设施 服务 ， 如 水 、 电 、 
煤气 和 电话 。 因 此 IT 服务 被 当 作 与 水 、 电 、 煤 气 和 电话 一 样 的 “计算 公共 基础 设施 "， 通 过 
共有 传输 网 络 来 交付 使 用 并 计 费 。 在 这 种 计算 环境 下 ， 用 户 按 需 获取 服务 ， 而 不 管 该 服务 由 
哪里 提供 。 一 些 计 算 模式 已 经 提出 交付 这 种 效用 计算 服务 的 构想 ， 云 计算 是 最 新 出 现 的 实现 
这 一 目标 的 计算 模式 。 

云 计算 如 今 已 成 为 IT 行业 的 又 一 个 流行 术语 。 众 多 IT 厂商 承诺 提供 存储 、 计 算 及 应 用 
托管 服务 ， 其 服务 范围 涵盖 几 大 洲 ， 并 能 提供 基于 服务 等 级 协议 (Service Level Agreement, 
SLA) 的 服务 性 能 保障 和 运行 时 间 承 诺 。 云 服务 模式 允许 用 户 基 于 订阅 方式 访问 基础 设施 、 
平台 及 应 用 ， 也 就 是 通常 所 说 的 基础 设施 即 服 务 (IaaS)、 平 台 即 服务 (Paas), ERS 
( SaaS)。 这 种 服务 模式 大 大 降低 了 计算 和 应 用 的 成 本 ,但 是 要 实现 应 用 和 服务 开发 及 交付 的 
一 致 性 、 可 扩展 性 、 可 靠 性 是 极其 复杂 的 。 

已 有 一 些 云 计算 技术 和 云 平台 产品 ， 如 谷歌 AppEngine、 微 软 Azure fl Manjrasoft 
Aneka, Ak AppEngine 利用 大 量 IT 基础 设施 为 托管 的 Web 应 用 提供 可 扩展 的 运行 环境 。 
微软 Azure 为 在 云 计 算 环 境 中 开发 和 部 署 应 用 提供 了 大 量 Windows 服务 实例 。Manjrasoft 
Aneka 能 够 灵活 地 创建 云 应 用 并 将 其 部 署 在 各 种 基础 设施 上 ， 如 亚马逊 公共 云 EC2 。 

Be OY FFT ACMA PC 向 云 数据 中 心 迁 移 ， 需 要 大 量 掌 握 云 计算 技能 的 人 员 。 面 对 这 一 挑 
战 ， 大 学 教育 在 培养 下 一 代 IT 专业 人 员 方 面 发 挥 了 重要 作用 ， 帮 助 学 生 学 习 和 掌握 新 的 相 
关 技 术 与 工具 。 这 样 ， 大 学 需要 以 较 小 的 投入 建立 云 计 算 教学 环境 ， 而 Manjrasoft Aneka HE 
较 适合 建立 这 种 云 应 用 平台 ， 它 允许 用 户 利用 已 有 计算 机 网 络 组 建 私 有 云 /企业 云 ， 提供 
软件 开发 工具 包 ( SDK)， 支 持 多 种 编程 模型 (如 线程 、 任 务 、MapReduce) 的 应 用 编程 接口 
(API)， 支 持 在 多 核 服务 器 、 私 有 云 、 公 共 云 等 不 同 基础 设施 上 无 颖 地 部 署 和 执行 应 用 。 

如 今 ， 专 业 开发 人 员 需 要 创建 云 应 用 和 服务 。 云 计算 研究 人 员 、 从 业者 以 及 供应 商 努力 
让 用 户 了 解 云 计算 的 好 处 并 充分 利用 其 潜在 能 力 。 然 而 ， 由 于 云 计算 是 一 种 新 兴 的 计算 范 
式 ， 所 以 对 于 云 计算 的 精确 定义 ,不同 的 云 计算 专家 会 给 出 不 同 的 答案 。 因 此 ， 尽 管 现在 比 
以 往 更 好 地 实现 了 真正 的 效用 计算 , 但是， 与 云 计算 服务 方 交互 的 复杂 性 使 得 对 于 云 计 算 的 
认可 和 应 用 还 只 限于 领域 专家 。 本 书 旨 在 用 简单 的 方式 向 读者 讲解 云 计 算 基 础 知识 、 技 术 及 
编程 技能 ， 让 更 多 普通 程序 员 和 软件 工程 师 能 轻松 地 开发 云 应 用 程序 。 


”本 书 结构 
本 书 介绍 云 计算 的 基本 原理 及 相关 范式 ， 阐 述 云 计算 架构 模型 中 虚拟 化 技术 的 概念 ， 并 
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展示 包括 Aneka 云 计 算 应 用 平台 在 内 的 著名 云 计算 技术 产品 ， 详 细 讲 解 并 行 计 算 、 高 吞吐 
量 计算 和 数据 密集 型 计算 的 范式 ， 以 及 如 何 将 这 些 范式 应 用 于 云 应 用 程序 开发 。 本 书 还 研究 
了 来 目 科 学 界 、 工 程 界 、 游 戏 和 社交 网 络 领域 的 多 个 应 用 案例 ,阐述 了 各 应 用 案例 的 架构 以 
及 云 计算 技术 的 应 用 方式 。 这 些 案例 研究 有 助 于 读者 对 云 计 算 原 理 的 理解 。 最 后 ， 本 书 详细 
曾 述 了 许多 源 于 云 计 算 快 速 应 用 的 开放 性 研究 问题 和 机 遇 ， 我 们 希望 这 有 助 于 激发 读者 在 
末 来 的 研发 过 程 中 解决 这 些 问题 。 另 外 ， 了 解 本 书 相 关内 容 可 浏览 Web wrk (http://www. 
buyya.com/MasteringClouds)， 其 中 包含 更 多 在 线 资 源 。 
全 书 分 为 二 部分， 共 11 章 ， 
第 一 部 分 “基础 
第 1 章 导论 
第 2 章 并 行 计算 与 分 布 式 计 算 原 理 
第 3 章 虚拟 化 
第 4 章 DWAR 
第 二 部 分 “ 云 应 用 编程 与 Aneka 平台 
第 5 章 Aneka: 云 应 用 平台 
第 7 章 高 吞吐 量 计算 : 任务 编程 
第 8 章 数据 密集 型 计算 : MapReduce 编程 
第 三 部 分 工业 云 平台 与 新 进展 
第 9 章 工业 云 平台 
第 10 章 云 应 用 
PIE 云 计算 高 级 主题 
本 书 将 引导 读者 进入 云 计 算 领 域 ， 从 理论 基础 讲解 开始 ， 让 学 生 和 专业 人 员 通 过 在 
Aneka 平台 上 实际 开发 云 应 用 程序 来 理解 和 掌握 相关 概念 。 第 三 部 分 介绍 业界 其 他 云 技术 和 
解决 方案 (亚马逊 Web ARS. Aik AppEngine 和 微软 Azure) 及 其 实际 应 有 用， 阐述 云 计算 的 
发 展 趋势 和 发 展 前 景 。 


读者 对 象 

由 于 云 计 算 迅 速 崛 起 为 一 种 主流 计算 模式 ， 所 以 必须 深入 理解 其 核心 概念 和 特性 ， 并 掌 
握 如 何 设计 和 实现 云 计 算 的 应 用 程序 与 系统 。 这 是 如 今 的 软件 架构 师 、 工 程 师 和 开发 人 员 
应 具有 的 基本 技能 ， 因 为 多 数 应 用 都 将 被 迁移 到 云 环境 。 随 着 技术 的 成 熟 ， 具 备 此 技能 尤其 
重要 。 本 书 涵盖 云 计算 的 起 源 、 理 论 和 实际 开发 技术 ， 读 者 对 象 更 广泛 ， 可 作为 研究 生 、IT 
从 业者 、 开 发 人 员 、 工 程 师 等 设计 和 实现 云 计算 解决 方案 的 参考 书 。 此 外 ， 书 中 最 后 关于 相 
关 研 究 的 展望 更 加 吸引 云 计 算 领 域 的 研究 人 员 探 究 其 将 带 来 的 新 挑战 。 

云 计算 正在 不 断 获 取 相 当 可 观 的 商业 利益 且 发 展 势头 强劲 ， 本 书 为 云 计算 领域 做 出 了 非 
常 适时 的 贡献 。 本 书 主要 针对 研究 生 和 IT 专家 ， 例 如 系统 架构 师 、 软 件 工 程 师 、 应 用 程序 
员 等 。 在 未 来 的 20 年 里 ， 云 计算 将 是 对 科学 研究 和 社会 生活 产生 重大 影响 的 五 大 新 兴 技术 
之 一 ， 因 此 认真 理解 和 掌握 本 书 的 知识 将 帮助 读者 置身 IT 领域 的 前 沿 。 


用 书 指南 : 理论 、 实 验 室 、 项 目 
鉴于 云 计算 范式 的 重要 性 及 其 在 业界 的 快速 崛起 ,教育 机 构 应 该 更 新 其 课程 体系 ， 增 加 
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云 计算 或 相关 领域 的 一 门 或 多 门 专业 课程 ， 例 如 “并 行 计算 ”和 “分 布 式 系统 ”。 我 们 建议 
大 学 设置 面向 本 科 生 或 研究 生 的 云 计 算 专 业 ， 及 计算 科学 学 士 和 相关 硕士 学 位 ， 相 信 此 书 将 
是 该 专业 的 优秀 教材 。 如 果 学 生 已 经 了 解 并 行 和 分 布 式 计算 的 概念 ， 可 以 跳 过 第 2 章 。 

对 于 想 用 云 计 算 丰 富 其 课程 体系 的 学 校 ， 建 议 分 别 在 两 个 学 期 开设 两 门 课程 :“ 云 计算 
基础 课程 ”和 “ 云 计算 高 级 课程 ”。 本 书 第 1 一 6 章 适 用 于 云 计算 基础 课程 ,第 7 ~ 11 章 适 
用 于 云 计算 高 级 课程 。 

除了 理论 学 习 以 外 ,我们 强烈 推荐 实验 室 使 用 本 书 ， 书 中 给 出 了 很 多 实验 指导 。 实 验 练 
习 和 作业 题 包括 数学 函数 的 并 行 执行 、 大 量 数据 排序 的 并 行 处 理 、 图 像 处 理 和 数据 挖掘 。 
在 Aneka 云 软件 系统 上 ， 学 校 很 容易 利用 已 有 的 Windows 系统 的 计算 机 局 域 网 络 搭建 私 
AB (企业 云 ) 计算 环境 。 学 生 可 利用 此 环境 学 习 各 种 云 应 用 编程 模型 和 接口 的 实例 并 在 
Aneka 平台 上 实现 ， 如 第 6 章 的 线程 编程 、 第 7 章 的 任务 编程 、 第 8 章 的 on 编程 。 
章 后 编程 习题 可 作为 实验 作业 让 学 生 自 己 编写 程序 实现 。 

学 生 也 可 以 在 其 本 科 毕 业 设 计 中 开发 处 理 实际 问题 的 云 应 用 程序 。 例 如 ， 学 生 可 以 协助 
其 他 科学 领域 或 工程 领域 (比如 生命 医学 科学 、 机 械 科学 ) 的 研究 人 人员， 利用 云 计 算 强 大 的 
计算 能 力 开发 符合 实际 需求 的 应 用 。 请 阅读 并 学 习 第 10 章 的 各 种 应 用 案例 


RRR 
教师 与 学 生 需 要 的 教 辅 资 源 可 以 从 Elsevier 网 站 下 载 (booksite.elsevier.com/97801 24114548 ), 
也 可 以 从 作者 为 本 书 所 做 的 主页 (http://www.buyya.com//MasteringClouds) 下 载 ， 


O 关于 本 书 教 辅 资 源 ， 使 用 教材 的 教师 需 通 过 爱 思 唯 尔 的 教材 网 站 ( www.textbooks.elsevier.com ) 注册 并 通过 
审批 后 才能 获取 。 具 体 方法 如 下 : 在 www.textbooks.elsevier.com 教材 网 站 查找 到 该 书后 ， 点 击 “instructor 
manual” 便 可 申请 查看 该 教师 手册 。 有 任何 问题 ， 请 致电 010-85208853。 一 一 编辑 注 
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计算 正在 发 生变 革 ， 它 将 转化 为 一 种 商业 化 服务 模式 ， 像 提供 水 、 电 、 煤 气 和 电话 等 基 
础 设施 服务 一 样 来 交付 计算 服务 。 这 种 模式 下 ， 用 户 根据 需求 获得 计算 服务 ， 而 不 需要 知道 
该 服务 由 哪里 提供 。 一 些 计 算 模式 (如 网 格 计 算 ) 提出 了 交付 这 种 效用 计算 服务 的 构想 ， 近 
年 来 新 兴 的 云 计算 模式 则 将 实现 了 这 一 监 图 。 

云 计 算是 一 项 技术 进步 ， 它 关注 如 何 设 计 计 算 系 统 和 开发 应 用 程序 ， 以 及 如 何 利用 现 有 的 
服务 构建 软件 。 云 计算 基于 动态 交付 概念 ， 不 仅 是 服务 的 动态 交付 ， 还 包括 计算 能 力 、 存 储 、 
网 络 、 信 息 技术 (IT) 基础 设施 等 。 资 源 可 以 通过 互联 网 并 基于 使 用 付费 的 方式 由 云 计 算 供 应 
商 提供 。 今 天 ,任何 人 都 可 以 用 信用 卡 订阅 云 服务 ， 并 在 一 定时 间 内 为 应 用 程序 部 蜀 和 配置 服 
务 ,， 还 可 根据 需求 增加 或 减少 配置 资源 ， 且 只 需要 按 资源 的 使 用 时 间 和 使 用 量 付费 ， 

本 章 简要 概述 了 云 计算 模式 ,介绍 其 发 展 前 景 ， 讨 论 其 核心 特征 ， 并 追溯 其 发 展 历程 。 
本 章 还 介绍 了 云 计算 的 关键 技术 ， 以 及 关于 云 计 算 发 展 方向 的 深入 见解 。 


1.1 云 计 算 简 介 


1969 年 ， 原 高 级 研究 计划 署 网 络 (ARPANET) 的 首席 科学 家 之 一 ， 互 联网 莫 基 人 

Leonard Kleinrock 说 : 
目前 ， 计 算 机 网 络 仍 处 于 起 步 阶段 ， 但 是 随 着 其 成 长 和 成 熟 ， 我 们 可 能 会 看 到 计 

算 服 务 的 普及 ， 像 电力 和 电话 等 公共 事业 服务 一 样 ， 跨 国界 服务 于 每 个 家 庭 和 办 公 室 。 

这 种 计算 模式 的 设计 蓝图 是 基于 服务 的 交付 模式 ,在 21 世纪 ， 整 个 计算 机 行业 将 产生 
巨大 变 单 ， 计 算 服 务 将 按 需 求 即时 交付 ， 类 似 于 水 、 电 、 电 话 、 燃 气 等 公共 服务 。 同 样 .， 只 
有 当 用 户 〈 消 费 者 ) 访问 计算 服务 时 ， 他 们 才 和 需要 向 服务 供应 商 支付 费用 。 此 外 ， 消 费 者 不 
再 需要 将 大 量 投资 用 于 构建 和 维护 复杂 的 IT 基础 设施 。 

在 这 样 的 交付 和 使 用 模式 中 ， 用 户 可 以 按 需求 获得 服务 ， 而 不 用 考虑 服务 提供 方位 于 何 
处 。 这 种 模式 曾经 被 称 为 效用 计算 ， 近 期 (2007 年 起 ) 改称 为 云 计算 。IT 基础 设施 称 为 “ 云 ” 
企业 和 用 户 可 以 从 任何 地 方 按 需 访问 各 种 应 用 服务 。 因 此 ， 可 以 认为 云 计 算是 动态 交付 计算 
服务 的 新 模式 ， 它 拥有 采用 虚拟 化 技术 构建 的 先进 数据 中 心 ， 可 实现 资源 的 整合 和 有 效 利 用 。 

云 计 算 允 许 用 户 租 用 基础 设施 、 运 行 环 境 和 服务 ， 按 需 使 用 与 付费 。 云 计算 原理 得 到 广 
泛 应 用 ， 不同 的 人 对 云 计算 有 不 同 的 认识 。 大 型 企业 首席 信息 官 和 技术 主管 看 到 了 云 计 算 的 
机 遇 ， 按 企业 商业 需要 部 署 和 扩展 基础 架构 。 终 端 用 户 应 用 云 计算 服务 ， 可 以 从 任何 地 方 通 
过 互联 网 随时 访问 自己 的 文件 和 数据 。 还 有 许多 关于 云 计算 的 观点 ?>， 其 中 ,最 直 白 的 观点 可 


© 2007 年 5 月 Web 2.0 发布 会 上 ，jJoyent 公司 副 总 裁 Rob Boothby 组 织 了 一 系列 云 计算 研讨 ， 有 趣 的 是 ， 不 
同 的 人 对 云 结 算 有 不 同 的 认识 。 首 席 执 行 官 、 技 术 主 管 、IT 公司 创始 人 、IT 分 析 师 都 给 出 了 各 自 的 观点 ， 
正 是 从 那 时 开始 ， 云 计算 概念 逐渐 被 人 们 熟知 。 研 讨 会 视频 发 布 在 YouTube 上 ， 网 址 为 www.youtube.com/ 
watch? v=6PNUQHUIV3Q。 





以 概括 如 下 : 
我 不 在 乎 服务 器 在 哪儿 、 谁 管理 它们 、 文 档 存储 在 哪儿 ， 或 者 应 用 程序 托管 在 
哪儿 。 我 只 是 希望 它们 始终 可 用 ， 并 且 可 以 通过 连接 到 互联 网 的 任何 设备 访问 它 
| 
一 描述 与 我 们 使 用 其 他 服务 的 方式 非常 相似 ， 例 如 水 、 电 等 。 换 名 话说 ， 云 计算 已 经 
w 通过 多 种 技术 的 有 效 融 合 ， 云 服务 模式 已 经 可 以 实现 ， 而 
上 且 已 经 相对 成 就 。Web 2.0 技术 在 应 用 云 计 算 构建 计算 系统 中 发 挥 了 核心 作用 。 云 计算 可 以 
把 互联 网 转化 成 一 个 丰富 的 、 足 以 满足 各 种 复杂 需求 的 应 用 和 服务 的 交付 平台 。 面 向 服务 架 
构 将 计算 资源 抽象 为 服务 ， 使 得 云 计算 能 提供 计算 服务 能 力 ; 而 虚拟 化 赋予 了 云 计 算 用 于 构 
建生 产 和 企业 系统 时 必要 的 可 定制 化 特性 、 可 控 性 和 灵活 性 。 3 
除了 能 灵活 地 构建 新 的 系统 和 应 用 之 外 ， 云 计算 环境 还 能 对 现 有 系统 进行 扩展 。 动 态 配 
E IT 资源 比 购买 知 外 的 硬件 和 软件 更 有 吸引 力 ， 这 些 硬 件 和 软件 资源 的 需求 量 很 难 估 计 并 且 
受 限 于 时 间 因 素 。 这 是 云 计算 最 重要 的 优势 之 一 ， 也 使 其 成 为 了 技术 热点 。 随 着 云 计算 系统 
的 广泛 部 蜀 ， 文 持 云 计算 的 基础 技术 与 系统 逐步 完善 和 标准 化 ， 这 是 实现 云 计算 长 远 目标 的 
基础 。 云 计算 提供 了 一 个 开放 的 环境 计算、 存储 和 其 他 服务 都 将 作为 计算 服务 进行 交易 。 


1.1.1 云 计算 构想 
去 计算 为 任何 一 个 拥有 信用 卡 的 人 提供 虚拟 硬件 、 运 行 环境 和 服务 ， 用 户 需 要 时 就 可 以 使 


用 ,不 需要 事先 委托 。 计 算 系 统 总 体 架 构 被 转换 成 各 种 计算 服务 的 集合 ， 这 些 服务 被 配置 和 组 


合 在 一 起 以 便 快 速 部 署 系统 ， 以 小 时 为 单位 而 不 是 以 天 为 单位 ， 并 且 没 有 维护 成 本 。 这 种 模式 
起 初 遭 到 怀疑 ， 而 现在 已 经 在 多 个 领域 和 行业 中 得 到 实际 应 用 ( 见 图 1-1 )。 需 求 紧 紧 跟随 着 
技术 的 发 展 而 发 展 ， 丰 富 了 云 计算 所 提供 的 服务 集合 ,使 云 服 务 变 得 更 加 成 熟 ， 成 本 也 更 低 。 






我 要 扩展 基础 
设施 ， 但 不 知 







ss... 





我 想 专注 于 应 用 逻辑 ， 
而 不 想 考虑 维护 和 可 扩 


etree 







我 想 随 时 随地 访 
问 和 编辑 文档 与 





图 1-1 云 计算 构 想 


4 党 一 部 分 Æ A 


尽管 技术 在 不 断 演变 ， 然 而 云 计算 的 使 用 往往 仅 限于 在 某 一 时 刻 提供 单一 服务 ， 更 常见 
的 是 ， 一 组 相关 服务 由 同一 供应 商 提供 。 缺 乏 有 效 的 标准 化 措施 ， 使 得 服务 从 一 个 供应 商 
迁移 到 另 一 个 供应 商 变 得 非常 困难 。 云 计算 的 长 期 构想 是 将 IT 服务 作为 公用 基础 设施 服务 ， 
在 没有 技术 和 法 律 限制 的 开放 市 场 中 进行 交易 。 在 这 样 的 云 市 场 环境 中 ， 云 服务 供应 商 和 消 
费 者 把 云 服 务 作为 公共 基础 设施 服务 进行 交易 ， 发 挥 其 核心 作用 。 

一 些 实现 云 计 算 模式 的 技术 已 经 存在 ， 可 以 从 不 同 的 角度 利用 云 的 各 种 服务 功能 。 对 于 
无 处 不 在 的 存储 和 按 需 计算 能 力 的 需求 是 应 用 云 计 算 的 最 常见 场景 。 对 于 应 用 和 系统 开发 者 
而 言 ， 在 不 具有 计算 资源 或 者 没有 能 力 扩 展现 有 资源 的 情况 下 ， 一 个 可 扩展 的 应 用 程序 运行 
系统 是 非常 有 吸引 力 的 选择 。 终 端 用 户 更 愿意 基于 Web 方式 访问 文件 ， 并 采用 成 熟 的 应 用 
软件 处 理 文件 。 

在 这 种 情况 下 ， 服 务 的 发 现 主要 通过 人 为 干预 完成 : 人们 浏览 互联 网 ， 以 确定 能 够 满足 
其 需求 的 服务 。 可 以 想象 ， 未 来 只 需 在 提供 云 计算 服务 的 全 球 化 数字 市 场 中 输入 我 们 所 需要 
的 服务 ， 就 可 以 自动 匹配 服务 。 这 种 云 服务 市 场 能 自动 发 现 服务 ， 并 集成 现 有 的 软件 系统 ， 
从 而 使 用 户 能 够 在 应 用 系统 中 透明 地 利用 云 资源 。 云 服务 交易 的 全 球 化 平台 使 服务 供应 商 更 
容易 被 消费 者 发 现 ， 潜 在 地 增加 了 收益 ， 也 消除 了 消费 者 和 供应 商 之 间 的 界限 ， 即 不 再 只 能 
拥有 这 两 种 身份 中 的 一 种 。 例 如 ， 为 了 履行 对 客户 的 承诺 ， 一 个 云 服务 供应 商 可 能 会 成 为 其 
竞争 供应 商 的 消费 者 。 

可 以 通过 制定 描述 云 服务 的 统一 标准 ， 以 及 不 同 云 技术 之 间 的 交互 技术 标准 ， 来 建立 全 
球 云 计算 交易 平台 。 已 有 大 量 应 用 向 云 计算 转移 ， 并 迅速 普及 。 此 外 ， 将 云 计算 的 核心 功能 
应 用 于 大 型 数据 中 心 ， 可 以 减少 或 消除 消费 者 对 于 基础 设施 的 需求 ， 优 化 数据 中 心 资源 ， 充 
分 利用 其 为 多 用 户 提供 共享 服务 的 能 力 。 这 种 模式 将 减少 能 源 浪费 和 碳 排放 ， 从 而 一 方面 促 
进 了 绿色 IT 的 实现 ， 另 一 方面 提高 了 收益 。 


1.1.2 RINEN 


云 计算 已 经 成 为 流行 术语 ， 广 泛 用 于 指 代 各 种 技术 、 服 务 和 概念 。 它 往往 与 硬件 虚拟 化 
或 按 需 计算 、 效 用 计算 、IT 外 包 、 平 台 和 软件 即 服务 ， 以 及 其 他 IT 热门 技术 有 关 。 图 1-2 
描述 了 已 有 云 计算 定义 中 的 不 同 概念 。 

术语 云 曾 用 于 电信 行业 ， 作 为 系统 结构 图 的 网 络 抽象 表示 。 之 后 ， 它 成 为 最 流行 的 计算 
机 网 络 一 一 互联 网 ( Internet) 的 象征 符号 。 这 个 含义 也 适用 于 云 计 算 ， 指 一 种 以 互联 网 为 中 
心 的 计算 方式 。 在 云 计 算 中 ， 互 联网 扮演 着 基础 性 的 角色 ， 代 表 介质 或 平台 ， 众 多 云 计 算 服 
务 通过 互联 网 交付 和 访问 。Armbrust 等 人 [28] 给 出 的 定义 也 体现 了 这 方面 的 含义 ， 

云 计算 是 指 应 用 以 服务 形式 通过 互联 网 交付 使 用 ， 并 且 数 据 中 心 的 硬件 和 坎 件 

能 提供 这 些 服务 。 

此 云 计 算 定义 涵盖 了 从 底层 硬件 到 高 层 软 件 服务 和 应 用 的 总 体 架 构 。 产 生 了 一 切 辟 服务 
(Everything as a Service, XaaS®) 的 理念 ， 系 统 的 不 同 组 件 一 —IT 基础 设施 、 开 发 平台 、 数 
据 库 等 都 可 以 作为 服务 来 交付 、 定 量 和 定价 。 这 种 新 模式 不 仅 显 著 地 影响 着 我 们 构建 软件 的 
方式 ， 还 对 我 们 如 何 部 署 软件 、 使 用 软件 、 设 计 IT 系统 结构 产生 影响 ， 甚 至 决定 着 公司 投 


© XaaS 是 X-as-a-Service 的 缩写 ， 其 中 X 可 以 被 以 下 任 一 字符 代替 : S (软件 )，P (平台 )， 1 (基础 设施 )，H (pf 
件 )，D (数据 库 )， 等 等 。 
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RIT 需求 的 方式 。 以 云 计 算 为 核心 的 新 型 应 用 不 断 产生 : 包括 单个 用 户 在 云 中 托管 文档 的 
mR, ARE CIO 决定 在 公共 云 中 部 署 部 分 或 整个 IT 基础 设施 的 需求 。 美 国 国家 标准 与 技 
术 研 究 院 (NIST) 对 云 计算 的 定义 重点 强调 了 多 参与 者 使 用 共享 云 计 算 环 境 的 观点 ， 具 体 描 
述 如 下 : 
云 计算 是 一 种 能 够 便捷 地 按 需 访问 共享 可 配制 计算 资源 池 (如 网 络 、 服 务 器 、 
te, BA, RA) 的 服务 模式 ， 并 只 需要 很 少 的 管理 工作 或 与 服务 供应 商 的 很 少 
区 互 就 可 以 快速 提供 和 发 布 这 些 服务 。 





图 1-2 云 计 算 技 术 、 概 念 和 设想 


云 计算 的 另 一 重要 特性 是 面向 效用 。 相 对 于 分 布 式 计算 方式 ， 云 计算 更 加 侧重 于 以 给 定 
的 定价 模式 提供 服务 ， 多 采用 “ 按 使 用 量 付 费 ” 的 策略 。 这 样 可 以 在 线 访 问 存储 、 租 用 虚拟 
硬件 ， 或 者 使 用 软件 开发 平台 ， 并 且 只 按 实际 使 用 付费 ， 没 有 或 很 少 需要 先期 投入 。 所 有 操 
作 只 需 通 过 Web 浏览 器 访问 云 服 务 ， 并 输入 信用 卡 详细 信息 进行 付费 。 云 计算 具有 不 同 的 、 
更 实用 的 特征 。Reese[29] 认为 服务 是 否 能 按照 云 计 算 模式 进行 交付 需 满 足 三 个 标准 : 

e 可 通过 Web 浏览 器 或 Web 服务 应 用 程序 接口 (API) 访问 服务 。 

e 不 需要 先期 投入 。 

o 按 资 源 使 用 量 付 费 。 

尽管 许多 云 计算 服务 可 免费 提供 给 单个 用 户 ， 但 企业 级 服务 通常 按照 特定 的 定价 方案 交 
付 使 用 。 在 这 种 情况 下 ， 用 户 订阅 服务 并 与 服务 供应 商 签订 服务 等 级 协议 (SLA)， 协 议 中 规 
定 了 交付 服务 的 服务 质量 参数 。Buyya 等 人 [30] 清晰 地 描述 了 云 计算 的 面向 效用 特性 : 

云 计算 是 由 一 组 互 连 的 虚拟 机 组 成 的 并 行 和 分 布 式 系统 ， 该 系统 依据 服务 供应 
商 和 消费 者 之 间 协 商 确 定 的 服务 等 级 协议 ,动态 配置 和 提供 一 种 或 多 种 统一 的 计算 
资源 。 
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1.1.3 ”进一步 了 解 云 计算 


云 计算 帮助 企业 、 政 府 、 公 共 机 构 、 私 营 机 构 和 研究 机 构 形 成 更 有 效 的 、 由 需求 驱动 的 
计算 系统 。 现 在 ,访问 和 集成 云 计 算 资 源 和 系统 像 在 互联 网 上 用 信用 卡 进行 交易 一 样 简单 ， 
在 很 多 市 场 活动 中 都 存在 这 样 的 系统 实例 。 

e 大 型 企业 可 以 基于 云 计算 系统 实现 业务 活动 。 近 日 , 《纽约 时 报 》 已 经 把 旧版 本 的 数 

字 图 书馆 转换 成 了 Web 访问 形式 ， 这 需要 在 较 短 的 时 间 内 具有 较 强 的 快速 计算 能 力 。 
《纽约 时 报 》 通 过 租用 亚马逊 的 EC2 和 S3 云 资 源 ， 在 36 小 时 内 完成 了 任务 ， 并 在 完 
成 任务 后 释放 这 些 资源 ， 没 有 额外 成 本 。 

e 小 型 企业 和 初创 企业 可 以 更 快 地 将 他 们 的 想法 转化 为 商业 模式 ,而 不 需要 过 多 的 前 
期 投入 。Animoto 是 将 用 户 提 交 的 照片 、 音 乐 和 视频 片段 制作 成 视频 影像 的 公司 。 编 
辑 制 作 视频 过 程 中 需要 大 容量 的 存储 设备 和 后 台 快 速 处 理 设备 。Animoto 没有 自己 的 
服务 器 ， 其 计算 基础 设施 完全 由 亚马逊 Web 服务 提供 ， 根 据 计 算 处 理 的 负载 按 需 定 
制 Web 服务 。 计 算 负载 差别 很 大 ， 并 具有 快速 可 扩展 性 ” 。 对 多 数 公司 而 言 ， 前 期 IT 
资源 投入 显然 不 是 最 佳 策 略 ， 而 云 计 算 系 统 成 为 有 效 的 解决 方案 。 

© 系统 开发 者 可 以 专注 于 业务 远 辑 ， 而 不 是 处 理 复杂 的 IT 基础 设施 管理 和 可 扩展 性 。 

Little Fluffy Toys 是 伦敦 的 一 家 公司 ， 开 发 了 一 个 小 软件 ， 为 用 户 提供 附近 自行 车 租 
赁 服务 的 信息 。 该 公司 成 功 地 在 谷歌 AppEngine 上 开发 了 该 软件 ， 仅 用 一 周 时 间 就 
HE [a] TH I 

@ 终端 用 户 可 以 在 任何 地 方 、 任 何 设备 上 访问 文件 。 苹 果 Cloud 提供 一 种 服务 ， 人 允许 用 
户 把 他 们 的 文件 存储 在 云 中 ， 并 通过 连接 到 云 的 任何 设备 访问 这 些 文件 。 用 户 可 以 在 
旅行 中 用 智能 手机 拍照 ， 回 家 后 用 笔记 本 式 计 算 机 编辑 这 些 照片 ， 并 在 平板 电脑 上 更 
新 和 显示 。 这 个 过 程 对 用 户 是 完全 透明 的 ， 不 必 通 过 电缆 将 这 些 设备 相互 连接 . 

如 何 让 这 一 切 成 为 可 能 ?基于 以 上 四 种 不 同 的 场景 ， 无 论 是 计算 能 力 、 存 储 ， 还 是 应 用 
程序 的 运行 环境 ， 这 些 IT 资源 的 相同 特性 是 按 需 服务 ， 并 按 使 用 量 付费 。 云 计算 不 仅 具 有 
便捷 地 按 需 访问 IT 服务 的 能 力 ， 同 时 还 产生 了 一 种 把 IT 服务 和 资源 视 为 公共 基础 设施 服务 
的 新 模式 。 云 计算 环境 的 乌 梧 图 如 图 1-3 所 示 。 

云 计 算 部 署 和 访问 模型 包括 三 种 : 公共 云 、 私 有 云 /企业 云 和 混合 云 ( 见 图 1-4 ) 。 公 共 
云 是 最 常见 的 部 署 模式 ， 其 必要 的 IT 基础 设施 (如 基于 虚拟 化 技术 的 数据 中 心 ) 由 第 三 方 服 
务 供应 商 建立 ， 任 何 用 户 都 可 以 以 订阅 方式 使 用 。 该 云 服 务 模式 对 用 户 非常 有 吸引 力 ， 用 户 
能 快速 地 使 用 计算 、 存 储 和 应 用 服务 。 在 这 种 环境 下 ， 用 户 的 数据 和 应 用 程序 部 署 在 服务 供 
应 商 的 云 数 据 中 心 。 

拥有 庞大 的 计算 基础 设施 的 大 型 企业 也 可 以 从 云 计 算 中 获 益 ， 方式 是 在 其 内 部 建立 IT 
服务 交付 的 云 计 算 模式 。 这 就 产生 了 相对 于 公共 云 的 私有 云 概 念 。2010 年 ， 美 国联 邦 政府 ， 
世界 上 最 大 的 IT 消费 机 构 之 一 (在 超过 10000 个 系统 花费 约 760 亿美 元 )， 启 动 了 云 计 算计 
划 ， 刁 在 为 政府 机 构 提供 更 高 效 地 利用 现 有 计算 设施 的 方案 。 企 业内 部 保护 机 密 信息 的 需求 
推动 了 私有 云 的 发 展 。 像 政府 和 银行 这 种 需要 高 度 安 全 性 、 隐 私 性 和 可 监管 性 的 机 构 ， 更 愿 
意 建立 和 使 用 自己 的 私有 云 或 企业 云 。 


O 有 报道 称 ， 由 于 客户 需要 ，Animoto 在 一 周 内 便 将 服务 器 规模 从 70 台 增 加 到 8500 台 。 
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l 面向 云 服务 的 订购 : 
一 切 { 计算 ， 应 用 ， 数据 ……} 即 服 务 (Xaas) 
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其 他 云 服务 
图 1-3 KHA See 


er 


[ee 


*# 企业 拥有 的 数据 中 * 混合 使 用 私有 云 

云 基础 设施 和 服 心 和 基础 设施 公共 MAHA; AB 

务 云 模型 ， 向 内 联网 有 云 容量 不 足 时 ， 
* 可 订阅 服务 模式 用 户 以 及 合作 伙伴 租赁 公共 云 服务 





图 1-4 云 计算 的 主要 部 署 模型 


当 私有 云 资源 无 法 满足 用 户 服 务 质量 (QoS) 要求 时 ， 可 将 公共 云 与 私有 云 的 计算 能 力 
相 结 合 ， 这 样 就 形成 了 混合 云 。 混 合 云 正在 逐渐 成 为 一 种 各 方 参与 者 充分 利用 云 计 算 提供 的 
各 种 服务 能 力 的 通用 服务 模式 。 


1.14 云 计 算 参 考 模型 
云 计 算 的 本 质 特征 是 具有 按 需 提供 各 种 IT 服务 的 能 力 ， 这 些 IT 服务 彼此 之 间 存 在 很 大 
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差异 ， 使 得 用 户 对 于 云 计算 的 理解 各 不 相同 。 尽 管 云 服 务 缺 乏 统一 性 ， 但 还 是 可 以 将 云 计 算 
服务 分 为 三 大 类 : 基础 设施 即 服务 (IaaS)， 平 台 即 服务 (PaaS) 和 软件 即 服务 (SaaS). 4N 
图 1-5 所 示 ， 这 三 类 云 服务 彼此 相关 ， 构 成 了 云 计 算 的 整体 组 织 结构 ， 称 为 云 计算 参考 模 
型 。 本 书 按 此 模型 结构 展开 ， 介 绍 云 计 算 技术 和 相关 研究 。 该 模型 将 各 式 各 样 的 云 计 算 服 务 
归纳 为 自 底 向 上 的 层次 结构 。 


终端 用 户 应 用 
be 科学 应 用 
sA 办 公 自 动 化 ， 图 片 编辑 ， 客 户 关 系 管理 ， 社 交 网 络 


应 用 运行 环境 
开发 和 数据 处 理 平 台 
例如 : Windows Azure, Hadoop, 谷歌 AppEngine, Aneka 


虚拟 化 服务 
存储 和 网 络 
例如 : 亚马逊 EC2、S3，Rightscale，vCloud 





图 1-5 云 计 算 参 考 模型 


在 云 计算 参考 模型 的 最 底层 ，IaaS 按 需 求 提供 虚拟 化 资源 ， 如 硬件 、 存 储 和 网 络 。 虚 拟 
化 硬件 以 虚拟 机 实例 的 形式 按 需 提供 计算 能 力 。 这 些 虚 拟 机 实例 是 根据 用 户 对 基础 设施 的 请 
求 创建 的 ， 用 户 通 过 给 定 的 工具 和 接口 来 配置 安装 在 虚拟 机 中 的 软件 。 价 格 通常 以 美元 /小 
时 计算 ， 其 中 每 小 时 的 费用 由 虚拟 硬件 的 性 能 决定 。 虚 拟 存 储 按 裸 磁盘 空间 或 对 象 存储 的 形 
式 交 付 使 用 。 前 者 扩充 了 用 于 持久 存储 的 虚拟 硬件 产品 ; 后 者 是 一 种 更 高 层次 的 抽象 ， 用 于 
存储 实体 而 不 是 文件 。 虚 拟 网 络 标 识 服 务 的 集合 ， 这 些 服 务 管理 虚拟 实例 之 间 的 网 络 ， 及 其 
与 互联 网 或 专用 网 络 之 间 的 连接 。 

PaaS 是 参考 模型 层次 结构 中 的 下 一 个 平台 服务 层 ， 它 能 够 根据 需要 提供 可 扩展 的 、 弹 
性 的 运行 环境 ， 执行 用 户 的 应 用 程序 。PaaS 以 核心 中 间 件 平台 作为 支持 ， 该 平台 负责 创建 
用 于 部 署 和 执行 应 用 程序 的 抽象 环境 。PaaS 服务 供应 商 负责 系统 的 可 扩展 性 和 容错 管理 ， 
而 用 户 只 需 利用 服务 的 API 和 库 ， 专 注 于 应 用 程序 开发 中 的 业务 逻辑 。 这 种 方法 提供 了 一 
种 更 高 层次 的 抽象 ， 发 挥 了 云 计算 的 优势 ， 也 使 用 户 易 于 在 更 可 控 的 软件 环境 中 编程 。 

位 于 参考 模型 顶部 的 SaaS 按 需 提供 应 用 程序 和 服务 。 大 多 数 通 用 桌面 应 用 程序 ， 如 办 
公 目 动 化 、 文 件 管理 、 照 片 编辑 和 客户 关系 管理 ( CRM) 软件 等 ， 都 统一 部 署 在 服务 供应 商 
的 服务 器 上 ， 使 这 些 软件 更 易于 升级 并 可 按 需 通过 浏览 器 访问 使 用 。 这 些 应 用 程序 被 众多 用 
户 共享 ， 这 些 用 户 的 交互 独立 于 其 他 用 户 。 社 交 网 络 站 点 常 采 用 SaaS 模式 ， 基 于 云 的 基础 
设施 减轻 了 由 于 大 量 用 户 使 用 所 带 来 的 高 负载 。 

云 计 算 参 考 模型 中 的 每 一 层 都 为 用 户 提供 了 不 同 的 服务 。 用 户 采 用 Iaas 是 希望 利用 
云 计算 构建 动态 可 护 展 的 计算 系统 。 因 此 ，Iaas 服务 可 用 来 开发 可 扩展 的 Web 站 点 或 进 


行 后 台 处 理 。Paas 为 应 用 开发 提供 了 可 扩展 的 编程 平台 ， 在 需要 开发 新 系统 的 情况 下 更 为 
适用 。 用 户 采 用 SaaS 多 是 希望 无 需 做 任何 软件 开发 、 安 装 、 配 置 和 维护 ， 就 可 以 使 用 云 
计算 应 用 软件 服务 ， 充 分 利用 云 的 弹性 扩展 能 力 。 该 方案 适用 于 满足 用 户 需要 的 Saas 服 
务 (如 电子 邮件 、 文 档 管 理 、CRM， 等 等 ) 已 存在 ， 或 者 只 需要 少量 软件 客户 化 工作 的 情 
Gi F . 


1.15 ”特性 和 优势 


云 计算 具有 众多 值得 关注 的 特性 ， 可 以 同时 为 云 服务 消费 者 (CSC) 和 云 服务 供应 商 
(CSP) 带 来 利益 。 这 些 特性 包括 : 
无 需 预 先 承 诺 。 
按 需 获取 。 
合理 的 定价 。 
快速 应 用 和 弹性 扩展 能 力 。 
有 效 的 资源 分 配 。 
能 源 效率 。 

© 无 经 构建 和 第 三 方 服务 的 使 用 。 

使 用 云 计 算 系 统 和 技术 所 带 来 的 最 明显 的 优势 是 因 减 少 相关 IT 软件 和 硬件 的 维护 成 本 
和 运营 成 本 而 市 来 的 经 济 收益 增长 。 主 要 原因 是 IT 资产 (包括 软件 和 硬件 ) 被 转换 成 使 用 费 
用 ， 在 使 用 这 些 资 源 时 才 需 要 文 付 ， 不 需要 前 期 资金 投入 。 资 本 成 本 是 与 资产 相关 的 成 本 ， 
在 经 营 活动 前 就 需要 投入 。 在 云 计 算出 现 之 前 ， 企 业 为 了 维持 运营 需要 预先 购买 计算 基础 设 
施 ， 这 些 IT 硬件 和 软件 投资 产生 资本 成 本 。 随 着 时 间 的 推移 ， 再 将 业务 收入 用 于 补偿 资本 
成 本 。 企业 总 是 最 大 限度 地 减少 资本 成 本 ， 因 为 它们 往往 涉及 折旧 。 举 一 个 关于 硬件 折旧 的 
例子 : 今天 美的 1000 美元 的 服务 器 ， 当 它 被 一 个 新 的 硬件 替换 时 ， 其 公允 价值 会 低 于 其 购 
买 原 价 。 为 了 获得 正 收益 ， 企 业 会 弥补 由 于 时 间 产 生 的 折旧 ， 因 而 从 收入 中 获得 的 净 收 益 就 
减少 了 。 因 此， 最 大 限度 地 降低 资本 成 本 是 最 基本 的 方法 。 云 计算 将 IT 基础 设施 和 软件 转 
化 为 使 用 费用 ， 从 而 为 增加 企业 净 收 益 做 出 了 显著 贡献 。 此 外 ， 它 也 给 小 企业 和 创业 者 提供 
了 机 会 : 业务 刚 开 展 时 ， 不 需要 大 量 投资 ， 随 着 业务 扩展 ， 投 资 可 以 逐渐 加 大 。 最 后 ， 维 护 
成 本 也 显著 减少 : 通过 租用 基础 设施 和 应 用 服务 ， 企 业 不 再 需要 对 其 进行 维护 。 云 服务 供应 
商 负责 维护 工作 ， 由 于 规模 经 济 效应 ， 供 应 商 能 够 承受 维护 成 本 。 

软件 系统 构建 灵活 性 的 提高 是 云 计算 的 另 一 显著 优势 。 由 于 企业 租用 了 IT 服务 ， 他 们 
可 以 更 加 动态 地 、 灵 活 地 构建 自己 的 软件 系统 ， 而 不 受 IT 资产 的 资本 成 本 限制 。 关 于 系统 
能 力 规划 的 需求 减少 了 ， 因 为 云 计算 能 快速 响应 不 断 变化 的 需求 。 例 如 ， 企 业 可 以 租用 更 
多 的 服务 器 来 处 理 负 载 高 峰 ， 并 在 不 需要 时 退 租 。 易 于 扩展 是 云 计 算 的 另 一 特性 。 通 过 利 
用 云 计算 潜在 的 巨大 计算 能 力 ， 企 业 可 以 更 加 轻松 地 扩展 其 IT 系统 能 力 。 扩 展 性 在 云 计 算 
参考 模型 的 各 层 中 均 有 体现 。Iaag 供应 商 使 得 用 户 可 以 用 简单 的 方法 来 定制 硬件 资源 ， 并 
将 其 集成 到 现 有 系统 中 。Paag 供应 商 为 可 扩展 应 用 程序 提供 了 运行 环境 和 编程 模型 。SaaS 
供应 商 可 以 根据 需求 弹性 设计 软件 ， 而 不 需要 用 户 提 供用 于 实现 可 扩展 功能 的 硬件 和 应 用 
程序 。 

终端 用 户 利用 云 计 算 能 随时 随地 通过 各 种 设备 访问 数据 并 对 数据 进行 操作 。 存 储 在 云 中 
的 信息 和 服务 通过 Web 页 面 呈 现 给 用 户 ， 用 户 可 以 使 用 便携 式 设备 或 家 中 的 台式 机 来 访问 。 
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由 于 常用 软件 (办 公 自 动 化 、 照 片 编辑 、 信 息 管理 等 ) BREZ, AEA mH AH 
这 些 软 件 处 理 任务 ， 而 过 去 完成 这 些 任务 则 需要 相当 大 的 软件 投资 。 云 计算 模式 下 的 成 本 非 
常 小 ， 因 为 云 服务 供应 商 的 运行 成 本 由 其 服务 的 所 有 用 户 分 担 ， 使 得 共享 基础 设施 的 运营 能 
力 和 灵活 性 得 到 更 好 的 利用 。 将 IT 基础 设施 和 服务 部 署 在 大 型 数据 中 心 ， 极 大 地 优化 了 资 
源 分 配 以 及 能 源 效率 ， 并 减少 了 环境 污染 。 

最 后 ， 面 向 服务 和 按 需 访问 为 灵活 地 构建 系统 和 应 用 程序 带 来 了 新 的 机 遇 ， 如 采 没 有 云 
计算 技术 ， 这 一 切 是 不 可 能 实现 的 。 可 以 在 整合 现 有 服务 的 基础 上 着 重 增加 新 价值 来 创建 新 
服务 。 由 于 云 计算 可 以 按 需 提供 参考 模型 中 的 任何 组 件 ， 因 此 我 们 只 要 专注 于 附加 值 层面 ， 
就 可 以 用 极 小 的 投入 将 想法 转化 为 产品 。 


1.1.6 面临 的 挑战 


任何 新 技术 的 发 展 和 流行 都 会 遇 到 新 问题 ， 云 计算 也 不 例外 。 云 共同 体 随时 会 面临 新 
的 、 有 趣 的 问题 和 挑战 ， 这 一 共同 体 包括 IT 从 业者 、 管 理 者 、 政 府 和 监管 机 构 : 

除了 系统 配置 、 网 络 和 规模 等 实际 问题 之 外 ， 与 云 计算 服务 和 资源 的 动态 提供 有 关 
的 一 系列 新 问题 也 出 现 了 。 例 如 ， 为 获得 最 大 收益 ，IaaS 需要 配置 多 少 资源 ? 这 些 资 
源 应 该 使 用 多 长 时 间 ? 云 服务 供应 商 在 管理 大 型 的 计算 基础 设施 和 资源 虚拟 化 技术 方面 
也 面临 着 挑战 。 男 外 ， 还 应 该 从 安全 性 和 合法 性 的 角度 考虑 真实 与 虚拟 基础 设施 的 集成 
问题 。 

云 环境 中 的 安全 性 、 保 密 性 以 及 数据 的 保护 是 另 一 项 重要 的 挑战 。 使 用 云 服务 的 机 构 并 
不 拥有 用 来 处 理 数据 和 存储 信息 的 基础 设施 ， 这 使 得 机 密 数 据 的 保护 面 对 挑 战 ， 机 密 数 据 
泄露 的 后 果 是 任何 机 构 都 无 法 承受 的 。 因 此 ， 需 要 寻求 确保 数据 机 密 性 且 符 合 安全 标准 的 方 
法 ,这 是 对 云 计算 系统 的 信息 处 理 的 最 低 要 求 。 这 个 问题 并 不 那么 明显 ， 尽 管 密码 可 以 保护 
从 客户 端 到 云 硬 件 设备 之 间 的 数据 传输 ， 然 而 为 了 处 理 信息 ， 还 需要 在 内 存 中 进行 解密 。 这 
是 整个 过 程 中 的 薄弱 环节 ， 因 为 虚拟 化 允许 透明 地 获取 实例 内 存 页 ， 恶 意 的 商家 可 以 轻易 地 
得 到 这 些 数据 。 

还 可 能 出 现 法 律 问题 。 云 计算 具有 无 处 不 在 的 特性 ， 即 计算 基础 设施 部 署 在 不 同 的 地 理 
位 置 ， 这 会 带 来 法 律 问题 。 不 同 国家 关于 隐私 有 不 同 的 法 律 法 规 ， 可 能 会 在 第 三 方 (包括 政 
府 部 门 ) 对 数据 拥有 什么 权利 的 问题 上 引发 潜在 的 争议 纠纷 。 众 所 周知 ， 当 可 疑 操作 可 能 会 
对 国家 安全 造成 威胁 时 ， 美 国立 法 赋 子 了 政府 机 构 极 端的 权力 去 获取 机 密 数 据 。 而 欧洲 国家 
则 更 加 严格 地 保护 隐私 权 。 当 美国 机 构 使 用 云 服务 将 其 数据 存储 在 欧洲 时 ， 有 趣 的 情况 出 现 
了 ， 如 果 美 国政 府 对 该 机 构 产 生 怀疑 ， 它 也 很 难 其 至 不 可 能 对 位 于 欧洲 云 数 据 中 心 存 储 的 数 
据 进 行 控 制 。 


1.2 云 计 算 起 源 


利用 大 量 分 布 式 计算 设施 租用 计算 服务 的 理念 已 经 存在 很 长 一 段 时 间 了 ， 其 历史 可 以 追 
WAZ) 20 世纪 50 年 代 初 。 技 术 的 不 断 发 展 和 完善 为 实现 云 计算 创造 了 一 系列 有 利 条 件 。 

图 1-6 描述 了 分 布 式 计算 技术 的 演化 发 展 及 其 对 云 计 算 产 生 的 影响 。 通 过 追溯 技术 发 展 
历程 ， 我 们 简要 地 回顾 了 在 实现 云 计算 过 程 中 发 挥 了 重要 作用 的 五 大 核心 技术 : 分 布 式 系 
统 、 虚 拟 化 、Web 2.0、 面 向 服务 的 计算 和 效用 计算 。 
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Al 1-6 分 布 式 计算 技术 的 演进 (1950 ~ 2010 ) 


1.2.1 分 布 式 系统 


云 本 质 上 是 大 型 的 、 可 以 按 需 为 第 三 方 提供 服务 的 分 布 式 计算 系统 。 可 参考 Tanenbaum 
等 人 [1] 提出 的 分 布 式 系 统 的 特性 : 
分 布 式 系 统 是 一 些 独立 计算 机 的 集合 ， 但 是 对 这 个 系统 的 用 户 来 说 ， 系 统 就 像 
一 台 计 工 机 一 样 。 
一 个 包括 各 种 计算 系统 的 通用 定义 ， 说 明了 分 布 式 系统 的 两 个 非常 重要 的 基本 特 
征 : 由 多 个 独立 的 计算 机 系统 组 成 ， 用 户 面 对 的 是 一 个 整体 。 该 定义 也 适用 于 云 计算 ， 云 计 
算 隐 藏 了 系统 的 复杂 架构 ， 给 用 户 提供 了 单个 系统 视图 。 分 布 式 系统 的 主要 目的 是 共享 资 
源 ， 并 更 好 地 利用 资源 。 云 计算 体现 了 这 一 观念 ， 并 且 将 其 发 挥 到 了 极致 ， 将 资源 (基础 设 
施 、 运 行 环境 以 及 服务 ) HESAP, XE, ITEA USM, AK) 提供 大 型 计算 设 
施 服务 是 驱动 云 计算 发 展 的 因素 之 一 ， 把 计算 能 力作 为 一 种 服务 提供 给 用 户 ， 能 更 有 效 地 利 
用 计算 基础 设施 。 分 布 式 系统 具有 一 些 特性 ， 如 异 构 性 、 开 放 性 、 可 扩展 性 、 透 明 性 、 并 发 
性 、 持 续 可 用 性 以 及 故障 独立 性 。 从 某 种 程度 上 讲 ， 这 也 体现 了 云 计算 的 特性 ， 尤 其 是 可 扩 
展 性 、 并 发 性 和 持续 可 用 性 。 
三 大 里 程 碑 技术 商定 了 云 计算 的 基础 : 大 型 机 计算 系统 、 集 群 计 算 和 网 格 计算 。 
e 大 型 机 。 大 型 机 利用 多 个 处 理 单元 完成 计算 ,是 具有 超级 计算 能 力 以 及 高 可 靠 性 的 
计算 机 ， 适 合 大 量 数据 传输 和 大 规模 IO 操作 。 大 型 企业 用 大 型 机 系统 完成 大 数据 
量 处 理 任 务 ， 如 在 线 交 易 系 统 、 企 业 资 源 计 划 系 统 ， 以 及 其 他 涉及 大 量 数据 处 理 的 
操作 。 尽 管 大 型 机 不 是 分 布 式 系统 ， 但 是 它 采 用 多 个 处 理 器 为 用 户 提供 强大 的 计算 
能 力 ， 并 且 作 为 一 个 单独 的 实体 呈现 给 用 户 。 大 型 机 最 吸引 人 的 特点 之 一 是 高 可 午 
性 ， 具 有 “不 间断 ”服务 和 显而易见 的 容错 能 力 。 在 更 换 故 障 组 件 时 不 用 关闭 系统 ， 
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系统 可 以 不 间断 地 工作 。 大 型 机 主要 应 用 于 批 处 理 任务 。 现 在 ， 大 型 机 已 不 太 流行 ， 
其 部 署 也 已 经 减少 ， 但 这 种 系统 的 升级 版 仍 用 于 事务 处 理 (例如 ， 网 上 银行 、 航 空 订 
票 、 超 市 、 电 信和 运营 商 及 政府 服务 )。 
o 集群 。 集 群 计 算 [3] [4] 最 初 作 为 大 型 机 和 超级 计算 机 之 间 的 低 成 本 选择 。 随 着 技术 
的 进步 ， 出 现 了 更 快 、 更 强大 的 大 型 机 和 超级 计算 机 ， 最 终 促进 了 低 价 商业 机 的 可 
用 性 的 提升 。 这 些 机 器 可 以 通过 高 带宽 网 络 连接 ， 并 由 特定 的 统一 系统 管理 软件 工 
具 进 行 控 制 。 从 20 世纪 80 年 代 开 始 ， 集 群 成 为 并 行 和 高 性 能 计算 的 技术 标准 。 作 
为 商业 机 ， 集 群 比 大 型 机 更 便宜 ， 并 为 众多 机 构 提 供 了 高 性 能 计算 能 力 ， 包 括 大 学 
和 小 型 研究 实验 室 。 集 群 技术 大 大 促进 了 分 布 式 计算 系统 工具 和 框架 的 形成 ， 包 括 : 
Condor[5] 、 并 行 虚拟 机 (PVM) [6] 和 消息 传递 接口 (MPI2 ) [7] 。 集 群 的 显著 特点 
之 三 是 ， 集 群 计 算 能 力 可 以 处 理 以 前 只 有 昂 贯 的 超级 计算 机 才 可 以 解决 的 问题 。 此 
外 ， 如 果 需 要 更 多 的 计算 能 力 ， 集 群 扩展 很 容易 实现 。 
网 格 。 网 格 计算 [8] 出 现在 20 世纪 90 年 代 初 ， 由 集群 计算 演进 而 来 。 网 格 计算 提 
出 了 一 种 类 似 于 电网 的 新 计算 方法 ， 以 获得 强大 的 计算 能 力 、 庞 大 的 存储 设施 及 各 
种 服务 。 用 户 可 以 像 使 用 其 他 公共 服务 (如 能 源 、 燃 气 和 水 ) 一 样 来 “消费 ”资源 
网 格 最 初 通过 互联 网 将 地 理 上 分 散 的 集群 节点 连接 在 一 起 。 这 些 集群 属于 不 同 的 机 
构 ， 通 过 对 它们 进行 管理 来 共享 计算 能 力 。 与 “大 和 集群” 不同， 计算 网 格 是 异 构 计 
算 节点 的 动态 聚合 ， 其 规模 是 全 国 性 的 甚至 是 世界 性 的 。 以 下 几 个 原因 使 计算 网 格 
的 大 规模 应 用 成 为 可 能 : 集群 普遍 存在 ; 集群 往往 利用 不 足 ; 单一 集群 不 足以 提供 
解决 新 问题 所 需要 的 计算 能 力 ; 网 络 的 发 展 和 互联 网 的 大 规模 使 用 使 得 远 距 离 高 带 
宽 连 接 成 为 可 能 。 这 些 因素 促进 了 网 格 的 发 展 ， 使 其 服务 于 当今 世界 各 地 的 众多 
用 户 。 

通常 认为 云 计算 是 网 格 计算 的 继任 者 ， 它 体现 了 以 上 三 大 技术 的 各 个 方面 。 机 构 托 管 的 
大 型 数据 中 心 部 署 云 计算 环境 为 用 户 提供 服务 。 正 如 大 型 机 一 样 ， 云 的 特征 是 拥有 几乎 无 限 
的 容量 、 很 强 的 容错 能 力 和 不 间断 的 服务 。 在 许多 情况 下 ， 构 成 云 计 算 基 础 设施 的 计算 节点 
是 由 商业 机 组 成 的 集群 。 云 供应 商 提供 的 服务 按 使 用 量 计 费 ， 充 分 体现 了 网 格 计算 所 提出 的 
效用 计算 的 构想 。 


1.2.2 ”虚拟 化 


虚拟 化 是 云 计算 的 男 一 个 核心 技术 。 虚 拟 化 是 将 一 些 计算 的 基本 构件 (如 硬件 、 运 行 环 
境 、 存 储 和 网 络 ) 进行 抽象 化 的 方法 。 虚 拟 化 技术 的 存在 已 经 超过 40 年 了 ， 但 其 应 用 一 直 
受到 技术 限制 ， 不 能 得 到 有 效 利用 。 目 前 ， 这 些 技术 限制 已 经 基本 人 解决， 虚拟 化 成 为 支撑 云 
计算 最 重要 的 技术 基石 ， 对 于 按 需 提供 IT 基础 设施 的 解决 方案 尤为 重要 。 虚 拟 化 带 来 了 一 
定 程 度 的 可 自 定义 性 和 可 控 性 ， 使 得 云 计 算 对 用 户 而 言 充满 吸引 力 ， 同 时 ， 对 云 服务 供应 商 
而 言 ， 采 用 云 计算 也 可 以 实现 持续 发 展 。 

虚拟 化 实质 上 是 二 种 创建 不 同 计算 环境 的 技术 。 之 所 以 称 为 虚拟 环境 ， 是 因为 其 模拟 了 


用 户 所 需要 的 接口 。 最 常见 的 虚拟 化 实例 是 硬件 虚拟 化 ， 它 可 以 模拟 多 个 操作 系统 界面 。 硬 


O MPI 是 多 计算 机 之 间 互 相通 信 的 应 用 程序 接口 CAPT) 规范 。MPI 定义 了 语言 无 闫 协议 ， 支 持 点 到 点 以 及 多 
点 间 通 信 。MPI 为 高 性 能 、 可 扩展 、 便 携 应 用 而 设计 ， 目 前 已 成 为 开发 并 行 应 用 的 主要 范式 。 
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件 虚拟 化 允许 在 单个 物理 平台 上 运行 不 同 的 软件 堆栈 。 这 些 软件 堆栈 包含 在 内 部 的 虚拟 机 实 
例 中 ， 其 操作 彼此 完全 隔离 。 高 性 能 服务 器 可 以 管理 多 个 虚拟 机 实例 ， 从 而 为 按 需 定制 软 
件 堆 栈 提供 了 可 能 。 这 是 云 计算 解决 方案 可 以 按 需 提供 虚拟 服务 器 的 基本 技术 ， 如 亚马逊 
EC2, RightScale, VMware vCloud 等 。 硬 件 虚 拟 化 、 存 储 和 网 络 虚拟 化 一 起 ， 构 成 了 仿真 
IT 基础 设施 所 需 的 技术 。 

虚拟 化 技术 也 可 用 于 复制 程序 的 运行 环境 。 在 Java 或 .NET 等 技术 的 流程 虚拟 机 应 用 
中 ， 应 用 程序 不 在 操作 系统 中 执行 ， 而 是 在 称 为 虚拟 机 的 特定 程序 环境 中 执行 。 这 种 技术 人 允 
证 隅 离 应 用 程序 的 执行 ， 并 对 它们 所 访问 的 资源 进行 更 加 精确 的 控制 。 相 对 于 硬件 虚拟 化 ， 


流程 虚拟 机 提供 了 更 高 层次 的 抽象 ， 因 为 它 要 处 理 的 对 象 仅 由 一 个 应 用 程序 构成 ， 而 不 是 各 “ 


种 软件 堆栈 。 云 计算 中 采用 这 种 方法 来 为 按 需 扩展 的 应 用 程序 提供 平台 ， 如 谷歌 AppEngine 
和 Windows Azure- 

具有 对 性 能 影响 很 小 的 隔离 和 可 定制 的 环境 ， 使 虚拟 化 成 为 非常 流行 的 技术 。 云 计算 利 
用 虚拟 化 技术 构建 平台 服务 ， 为 世界 各 地 的 众多 用 户 提 供 按 需 定制 的 虚拟 化 服务 。 


1.2.3 Web 2.0 


Web 是 云 计 算 提 供 服务 的 主要 接口 。 目 前 ， 它 包含 了 一 整套 技术 和 服务 ， 能 够 实现 交互 
信息 的 共享 、 协 同 、 以 用 户 为 中 心 的 设计 和 应 用 组 合 。 这 些 功 能 将 Web 转化 为 用 于 应 用 程 
序 开发 的 丰富 平台 ， 称 为 Web 2.0。 这 个 术语 体现 了 一 种 新 的 途径 ， 开 发 人 员 可 以 构建 应 用 
并 通过 互联 网 提供 服务 ， 为 用 户 提 供 全 新 的 服务 体验 。 

Web 2.0 技术 使 Web 页 面具 有 交互 性 和 灵活 性 ， 桌 面 应 用 程序 中 的 所 有 常见 功能 都 可 以 
基于 Web 访问 ， 提 升 了 用 户 体验 。 这 些 功能 是 通过 集成 一 系列 的 标准 和 技术 来 实现 的 ， 如 
XML 、 异 步 JavaScript 和 XML (AJAX )、Web 服务 等 。 这 些 技术 允许 利用 用 户 提交 的 内 容 
来 构建 应 用 ， 用 户 变 成 了 内 容 供应 商 。 此 外 ， 互 联网 技术 的 广泛 应 用 为 网 络 开辟 了 新 的 机 
遇 和 市 场 ， 使 用 户 可 以 通过 各 种 设备 获得 服务 ， 如 移动 电话 、 汽 车 仪表 盘 、 电 视 机 等 。 这 
种 新 应 用 场景 要 求 应 用 程序 具有 更 强 的 动态 特性 ， 这 是 Web 2.0 技术 的 另 一 关键 要 素 。Web 
2.0 应 用 程序 是 动态 的 ， 随 着 用 户 需 求 的 不 断 变化 ，Web 应 用 程序 得 到 不 断 改进 ， 新 功能 不 
断 增加 ， 而 不 需要 在 客户 端 安装 新 的 软件 版 本 。 通 过 与 云 应 用 程序 交互 ， 用 户 可 以 轻松 地 
利用 软件 的 新 功能 。 轻 量 级 部 署 和 编程 模型 可 以 有 效 地 支持 这 种 动态 特性 。 松 耦合 是 Web 
2.0 的 另 一 基本 属性 ， 通 过 组 合 现 有 服务 并 将 它们 集成 在 一 起 ， 可 以 轻松 地 “合成 ”新 的 应 
用 程序 ， 从 而 带 来 新 附加 值 ， 更 容易 满足 用 户 的 需求 。 最 后 ，Web 2.0 应 用 程序 的 目标 是 
依靠 广大 互联 网 用 户 的 “长 尾 效应 ”， 使 其 无 论 在 媒体 访问 方面 还 是 费用 方面 都 可 以 被 用 户 

Web 2.0 应 用 程序 的 例子 有 : 谷歌 文档 、 谷 歌 地 图 、Flickr、Facebook、Twitter、 
YouTube、de.li.cious、Blogger 和 维基 百科 。 特 别 是 在 社交 网 站 中 ，Web 2.0 技 术 应 用 最 
多 。 例 如 Facebook, Flickr 等 网 站 的 信息 交互 程度 ， 如 果 没 有 AJAX, RSS (Really Simple 
Syndication) 和 其 他 有 效 的 信息 交互 工具 的 支持 ， 是 不 可 能 实现 的 。 此 外 ,社区 网 站 充分 利 
用 了 社区 群体 智慧 为 应 用 程序 提供 内 容 : Flickr 提供 用 于 存储 数字 图 片 和 视频 的 高 端 服务 ; 
Facebook 是 一 个 利用 用 户 活动 提供 内 容 的 社交 网 站 ; Blogger (RAE MA, ALP ay 
在 线 编 写 日 记 。 

Web 作为 一 种 传送 方式 能 够 完成 并 加 强 信息 交 互 ， 这 一 想法 于 1999 年 由 Darcy 
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DiNuceie 提 出 ， 并 从 2004 年 开始 得 到 充分 认识 。 今 天 , Web 是 支持 云 计 算 需 求 的 成 熟 平 台 ， 
充分 利用 Web 2.0 应 用 程序 和 框架 来 提供 丰富 的 互联 网 应 用 (RIA)， 这 是 为 更 广泛 的 公众 提 
供 云 服务 的 基础 。 从 社会 角度 看 ，Web 2.0 应 用 程序 做 出 了 巨大 贡献 ， 使 得 人 们 更 习惯 于 在 
日 常生 活 中 使 用 互联 网 ， 并 且 为 接受 云 计 算 服 务 模式 开辟 了 道路 ， 即 使 是 IT 基础 设施 也 可 
以 通过 Web 接口 提供 。 


1.2.4 面向 服务 的 计算 


面向 服务 是 云 计算 系统 的 核心 参考 模型 ， 它 将 服务 作为 应 用 和 系统 开发 的 主体 模块 。 面 
向 服务 的 计算 (SOC) 支持 快速 、 低 成 本 、 灵 活 、 可 交互 和 可 扩展 的 应 用 和 系统 开发 [19]。 
服务 是 对 自 描述 和 平台 无 关 组 件 的 抽象 描述 ， 从 简单 功能 到 复杂 业务 流程 都 可 以 以 服务 
形式 来 实现 。 事 实 上 ， 任 何 一 段 完成 某 一 任务 的 代码 都 可 以 转换 成 服务 ， 并 通过 网 络 访问 协 
议 发 布 其 功能 。 服 务 应 该 是 松 耦 合 、 可 重用 、 独 立 于 编程 语言 和 位 置 透明 (不 需要 知道 提供 
服务 的 位 置 ) 的 。 松 耦合 使 得 服务 更 容易 满足 不 同 的 场景 并 且 可 重用 ， 独 立 于 特定 的 平台 载 
加 了 服务 的 可 访问 性 ， 因 此 可 以 服务 于 更 广泛 的 用 户 。 用 户 查找 在 全 球 管 理 机 构 注 册 的 服 
务 ， 然 后 以 位 置 透明 的 方式 消费 服务 。 服 务 采用 面向 服务 的 架构 (SOA)[L27] 来 组 成 和 聚集 ， 
SOA 是 一 种 通过 已 发 布 和 可 发 现 的 接口 构建 软件 系统 ， 为 终端 用 户 或 网 络 用 户 提 供 服 务 的 
逻辑 方式 。 
面向 服务 的 计算 引入 和 推广 了 两 个 重要 的 概念 ， 服 务 质 量 (QoS) 和 软件 即 服务 (Saas), 
这 两 个 概念 也 是 云 计 算 的 基础 。 
© QoS 定义 了 可 从 不 同 角度 评 估 服 务 行为 的 功能 性 和 非 功能 性 属性 集合 。QoS 可 以 是 
性 能 指标 ， 如 响应 时 间 、 安 全 属性 、 事 务 完 整 性 、 可 靠 性 、 可 扩展 性 和 可 用 性 。QoS 
需求 由 客户 和 供应 商 之 间 建 立 的 服务 等 级 协议 ( SLA) 描述 ， 是 在 使 用 服务 时 需要 满 
JEM QoS 属性 的 最 小 值 (或 可 接受 的 范围 )。 
e SaaS 的 概念 引入 了 应 用 程序 的 新 交付 模式 。 该 术语 源 于 应 用 服务 供应 商 (ASP), 
ASP 在 其 中 央 数 据 中 心 提供 跨 广 域 网 的 基于 软件 服务 的 解决 方案 ， 并 且 人 允许 用 户 基 
于 订阅 或 租用 方式 来 获取 。ASP 负责 维护 硬件 资源 并 提供 应 用 程序 ， 使 客户 摆脱 系 
统 维护 成 本 和 升级 的 困扰 。 这 种 软件 交付 模式 是 可 行 的 ， 因 为 通过 多 租户 的 方式 实 
现 了 规模 经 济 。 基 于 面向 服务 的 计算 (SOC) 7H, Saas KETSMARE, AREG H 
软件 组 件 可 以 单独 提供 和 定价 ， 而 不 是 处 理 整 个 应 用 程序 。 这 样 ， 复 杂 的 业务 流程 
和 交易 都 以 服务 形式 交付 ， 同 时 应 用 程序 可 以 随 需 应 变 ， 任 何人 在 任何 地 方 都 可 以 
重复 使 用 这 些 服务 。 
面向 服务 最 通常 的 表示 方法 是 Web Services (WS) [21]。WS 将 SOC 的 概念 引入 到 万 
维 网 中 ， 使 得 应 用 程序 可 以 被 处 理 成 服务 。Web 服务 是 软件 组 件 ， 通 过 使 用 超 文本 传输 协 
D (HTTP) 的 方法 调用 模式 来 发 布 和 交付 服务 。Web 服务 的 接口 可 以 通过 由 Web 服务 描述 
语言 ( WSDL) [22] 表示 的 元 数据 语义 来 编程 实现 。WSDL 是 一 种 XML 语言 ， 定 义 了 服务 
和 方法 的 特征 ， 以 及 参数 、 描 述 和 返回 类 型 ， 以 服务 的 形式 发 布 ， 并 通过 简单 对 和 象 访 问 协议 


Ə 在 《Design & New Media 》 杂 志 中 ，Darcy DiNucci 将 Web 描述 为 : “我 们 所 了 解 的 安装 于 Windows 浏览 器 
中 的 Web 本 质 是 静态 页 面 ， 这 只 是 Web 技术 的 初期 。Web 2.0 技术 的 出 现 带 来 了 新 的 明光， 见证 了 Web tt 
术 的 发 展 。Web 不 再 只 是 文本 和 图 形 的 页 面 显示 ， 而 是 作为 信息 交互 的 传输 机 制 。Web 信息 可 以 在 计算 机 、 
电视 机 、 汽 车 仪表 盘 、 手 机 、 手 持 游 戏 机 甚至 微波 炉 上 显示 。" 
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(SOAP) [23] 与 Web 服务 进行 交互 。XML 语言 定义 了 如 何 调 用 Web 服务 的 方法 ， 并 返回 
结果 集 。 通 过 在 HTTP 上 使 用 SOAP All WSDL, Web 服务 具有 平台 独立 特性 ， 并 可 以 通过 
Web 访问 。Web 服务 的 标准 和 规范 由 W3C 制定 ， 最 常用 的 开发 Web 服务 的 架构 包括 ASP. 
NET[24] 和 Axis[25]。 

分 布 式 服 务 系统 的 组 合 是 SOC 在 实现 云 计算 的 过 程 中 产生 的 重大 贡献 。Web 服务 技术 
提供 了 合适 的 工具 ， 使 多 服务 组 合 变 得 简单 ， 并 且 更 容易 集成 到 主流 的 万 维 网 (WWW) 环 


二 中 
125 ”效用 计算 


效用 计 普 定义 了 一 种 计算 服务 的 提供 模式 ， 将 存储 、 计 算 能 力 、 应 用 程序 和 基础 设施 等 
资源 封 效 为 服务 ， 并 基于 使 用 量 付 费 。 把 计算 作为 像 天 然 气 、 水 、 电 和 电话 一 样 的 公共 基础 
设施 的 想法 已 经 存在 很 长 时 间 了 ,但 是 直到 今天 ， 随 着 云 计算 的 到 来 ， 这 个 想法 才 变 为 了 现 
实 。 提 出 这 一 设想 的 先行 者 美国 科学 家 John McCarthy 于 1961 年 在 麻 省 理工 学 院 百年 庆典 
[Ea : 

如 果 我 所 提倡 的 那 种 计算 方式 成 为 未 来 的 计算 机 ， 那 么 有 一 天 ， 计 算 可 能 会 被 

构建 成 公共 基础 设施 ， 就 像 电 话 系 统 那 样 …… 计 算 基 础 设施 服务 可 能 会 成 为 一 个 新 

的 重要 产业 的 基础 。 

这 种 计算 服务 提供 模式 的 起 源 可 以 追溯 到 大 型 机 时 代 ，IBM 和 其 他 大 型 机 供应 商 为 银 
行 和 政府 等 机 构 的 数据 中 心 提供 大 型 机 。 基 于 效用 计算 的 商业 模式 带 来 了 新 的 需求 ， 并 促进 
厂 大 型 机 技术 的 改进 : 增加 了 操作 系统 、 控 制 处 理 和 用 户 计 量 设施 等 新 功能 。 随 着 集群 计算 
的 出 现 ， 计 算 作 为 公共 基础 设施 的 想法 从 业务 领域 扩展 到 学 术 界 。 不 仅 是 企业 ， 科 研 院 所 也 
产生 了 了 根据 需要 利用 外 部 IT 基础 设施 的 想法 。 计 算 科 学 作为 建立 计算 集群 的 主要 推动 因素 
之 一 ， 仍 然 需 要 巨大 的 计算 能 力 去 解决 具有 挑战 性 的 难题 ， 而 且 并 非 所 有 机 构 都 能 够 独立 
有 满足 计算 需求 的 设施 ， 通 常 需要 利用 外 部 集群 系统 进行 计算 。 互 联网 和 Web 的 广泛 应 

， 提 供 了 通过 简单 接口 在 世界 范围 内 实现 效用 计算 的 技术 手段 。 前 面 已 经 提 到 ， 计 算 网 格 
供 的 全 球 规模 的 分 布 式 计 算 基 础 设施 可 以 实现 按 需 访 问 。 计 算 网 格 把 效用 计算 的 概念 提升 
到 一 个 新 的 水 平 : 面向 市 场 [15] 。 随 着 效用 计算 的 广泛 普及 ， 易 于 建立 竞投 或 出 售 存 储 、 计 
算 、 服 务 等 网 格 产品 的 交易 系统 架构 。 此 外 ， 电 子 商 务 技术 [25] 为 效用 计算 提供 了 文 持 。 在 
20 世纪 90 年 代 中 后 期 ， 公 众 对 于 在 网 上 购买 各 种 商品 产生 了 巨大 的 兴趣 : 食品 、 服 装 、 多 媒体 
产品 以 及 诸如 存储 空间 和 Web 托管 之 类 的 在 线 服 务 。 在 互联 网 泡沫 (dot-com bubble) ”破灭 后 ， 
人 们 的 在 线 购 物 兴 趣 降低 了 ， 但 这 种 现象 使 得 大 众 更 热衷 于 购买 在 线 服 务 。 其 结果 是 ， 通 过 
信用 卡 进行 网 上 支付 的 系统 架构 更 加 方便 ， 经 受 了 实践 的 考验 。 

从 应 用 程序 和 系统 开发 的 角度 来 看 ， 面 向 服务 的 计算 和 面向 服务 的 架构 (SOA) 引入 了 
利用 外 部 服务 执行 软件 系统 内 部 特定 任务 的 理念 。 应 用 程序 不 仅 是 分 布 的 ， 而 且 由 不 同 实体 
提供 的 服务 可 以 组 成 一 个 服务 网 ， 并 可 以 付费 使 用 这 些 通过 互联 网 访问 的 服务 。SOC 拓宽 
了 有 关 计 算 机 系统 中 什么 可 以 作为 基础 设施 服务 被 访问 的 概念 : 不 仅 是 计算 能 力 和 存储 ， 服 
务 和 应 用 程序 组 件 也 可 以 按 需 使 用 和 集成 。 随 着 计算 服务 的 发 展 ，QoS 成 为 一 个 重要 研究 


O 也 联网 泡沫 现象 始 于 20 世纪 90 年 代 后 期 ， 在 2000 年 到 达 顶 峰 。 在 此 期 间 ， 大 多 数 公司 都 在 开展 在 线 服务 
和 电子 商务 业务 ， 并 且 迅 速 扩张 ， 以 至 于 后 期 无 法 维持 其 业务 增长 。 结 果 多 数 公司 倒闭 ， 一 部 分 原因 是 公司 
收入 不 能 支持 其 业务 支出 ， 或 是 因为 没有 足够 的 客户 需求 来 支持 其 拓展 业务 。 


[22 | 


16 B-RA Æ æ 





课题 。 
这 些 因素 促进 了 效用 计算 概念 的 发 展 ， 并 提出 了 实现 云 计算 的 重要 步 又， 在 云 计算 中 ，， 
效用 计算 的 概念 得 到 了 充分 体现 。 


1.3 ”构建 云 计 算 环 境 


云 计算 环境 的 构建 既 包 括 基 于 云 计算 解决 方案 的 应 用 和 系统 开发 ， 也 包括 框架 、 平 台 太 
交付 云 计 算 服 务 的 架构 。 


1.3.1 应 用 程序 开发 


面向 云 计 算 的 应 用 开发 可 以 从 按 需 动态 扩展 的 能 力 中 获 益 。 其 中 一 类 最 能 充分 利用 这 
一 特点 的 应 用 是 Web 应 用 程序 ， 其 性 能 通常 受到 由 不 同 的 用 户 需 求 产 生 的 工作 负载 的 影响 。 
随 着 Web 2.0 技术 的 推广 ，Web 已 经 成 为 开发 丰富 而 复杂 的 应 用 的 平台 ， 包 括 利 用 Internet 
进行 服务 交付 和 用 户 交 互 的 企业 应 用 。 这 些 应 用 的 特点 是 处 理 过 程 复 杂 ， 由 用 户 信息 交互 触 
发 ， 通 过 Web 前 端 后 面 几 个 层次 之 间 的 交互 进行 开发 。 这 些 应 用 程序 大 多 对 不 合适 的 系统 
架构 、 服 务 部 署 或 者 负载 变化 敏感 。 

另 一 类 体现 云 计 算 潜 在 优势 的 应 用 是 资源 密集 型 应 用 程序 ， 包 括 数 据 密 集 型 和 计算 密集 
型 应 用 程序 。 在 这 两 种 情况 下 ， 需 要 相当 多 的 资源 在 一 段 合 理 的 时 间 内 来 完成 执行 。 值 得 注 
意 的 是 ， 并 不 是 持续 地 、 长 时 间 地 需要 大 量 资源 。 例 如 ， 科 学 应 用 程序 可 能 需要 巨大 的 计算 
能 力 ， 在 一 段 时 间 内 进行 一 次 大 规模 的 实验 ， 所 以 购买 支持 实验 的 硬件 设备 是 不 可 行 的 。 在 
这 种 情况 下 ， 云 计算 可 以 作为 解决 方案 。 资 源 密集 型 应 用 程序 不 是 交互 式 的 ， 其 特点 大 多 是 
批 处 理 。 

云 计算 提供 了 对 整个 参考 模型 按 需 创建 和 动态 扩展 的 解决 方案 。 实 现 方式 包括 : 由 提供 
租用 计算 能 力 、 存 储 和 连接 网 络 的 方法 ; @ 提 供 支 持 可 扩展 性 和 动态 性 的 运行 环境 ; Diz 
供 模仿 桌面 应 用 程序 的 服务 ， 但 是 这 些 服 务 完 全 由 服务 供应 商 来 托管 和 管理 。 基 于 面向 服务 
架构 ， 所 有 功能 都 可 以 简单 地 、 无 颖 地 集成 到 现 有 系统 中 。 开 发 人 员 通 过 简单 的 Web 界面 ， 
利用 表征 状态 转移 (Representational State Transfer, REST) Web 服务 来 实现 这 些 功 能 。 众 所 
周知 的 抽象 能 力 使 得 云 应 用 程序 和 系统 的 开发 和 管理 变 得 实用 而 简单 。 


1.3.2 ”基础 设施 和 系统 开发 


分 布 式 计算 、 虚 拟 化 、 面 向 服务 和 Web 2.0 构成 了 在 全 球 各 个 地 方 提供 云 服务 所 需要 的 
核心 技术 。 开 发 基于 云 模式 的 应 用 程序 和 系统 需要 掌握 这 些 技术 。 此 外 ， 需 要 从 设计 和 开发 
的 角度 处 理 新 的 问题 和 挑战 。 

分 布 式 计算 是 云 计 算 的 基础 模型 ， 因 为 云 计 算 系 统 是 一 种 分 布 式 系统 。 除 了 大 多 与 访问 
云 中 资源 相关 的 管理 任务 之 外 ， 云 系统 的 极端 动态 特性 ， 即 按 需 提供 新 的 节点 和 服务 ， 是 工 
程 师 和 开发 人 员 面 临 的 主要 挑战 。 这 是 云 计算 解决 方案 特有 的 性 质 ， 并 且 大 多 需要 在 计算 系 
统 的 中 间 件 层 处 理 。IaaS 解决 方案 具有 添加 和 删除 资源 的 功能 ， 由 那些 能 够 明智 地 、 高 效 地 
在 可 扩展 的 IT 基础 设施 上 部 署 系统 的 用 户 进行 资源 操作 。Paasg 解决 方案 将 算法 、 配 置 过 程 
的 控制 规则 和 资源 租赁 规则 内 人 入 核心 产品 中 。 这 些 对 开发 人 员 可 以 是 完全 透明 的 ， 或 得 到 较 
好 的 控制 。 云 资源 和 已 有 系统 部 署 之 间 的 集成 是 另 一 个 值得 关注 的 因素 。 

云 计 算 服 务 采用 Web 2.0 技术 接口 进行 交付 、 管 理 和 配置 。 除 了 通过 Web 浏览 器 与 各 
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种 接口 交互 之 外 ， 从 编程 的 角度 来 看 , Web 服务 已 经 成 为 云 计 算 系 统 的 主要 访问 方式 。 因 此 ， 
面 问 服务 是 定 义 云 计算 系统 体系 结构 的 基础 。 云 计算 经 常 表示 为 XaaS ， 即 一 切 尼 作 为 服务 ， 
明确 地 强调 了 面向 服务 的 核心 作用 。 尽 管 访问 不 同 云 服务 供应 商 的 资源 没有 统一 的 标准 ， 但 
是 互通 性 扩 术 降低 了 学 习 的 困难 ， 并 且 将 云 计算 集成 到 现 有 系统 中 变 得 简单 了 。 

虚拟 化 是 云 计算 的 另 一 个 重要 技术 基础 。 这 项 技术 是 云 服 务 供应 商 使 用 的 硬件 基础 设施 
的 核心 特色 。 如 前 所 述 ， 虚 拟 化 概念 已 有 40 多 年 的 历史 ， 但 云 计 算 带 来 了 新 的 挑战 ， 特 别 
是 在 管理 虚拟 环境 上 ,不论 是 虚拟 硬件 的 抽象 ， 还 是 运行 环境 的 抽象 。 云 应 用 程序 的 开发 者 
需要 注意 所 采用 虚拟 化 技术 的 局 限 性 ， 以 及 系统 中 一 些 组 件 的 波动 性 带 来 的 影响 。 

这 些 都 是 我 们 编写 基于 云 计算 技术 的 应 用 程序 和 系统 时 需要 考虑 的 因素 。 云 计算 本 质 上 
提供 了 一 种 机 制 ， 通 过 复制 计算 机 系统 在 高 负载 状态 下 所 需 的 组 件 来 解决 需求 的 激增 。 组 件 
的 动态 性 、 可 扩展 性 和 波动 性 是 指导 系统 设计 的 主要 因素 。 


1.3.3 云 计 算 平 台 和 技术 


刊 用 提供 不 同类 型 服务 的 平台 和 框架 ， 目 前 已 开发 了 多 种 云 计算 应 用 程序 ， 从 IT 基础 
设施 服务 到 用 户 定 制 的 应 用 服务 。 

1. 亚马逊 Web ARS (AWS) 

AWS 提供 全 面 的 云 计算 laas 服务 ， 从 虚拟 计算 、 存 储 、 网 络 连接 到 云 参 考 模型 的 各 层 
服务 。AWS 主要 以 其 按 需 的 计算 和 存储 服务 而 闻名 ， 即 弹性 计算 云 (EC2 ) 和 简单 存储 服务 
( S3 )。EC2 为 用 户 提 供 了 可 定制 的 虚拟 硬件 ， 可 作为 在 云 中 部 署 计算 系统 的 IT 基础 设施 。 
用 户 可 以 从 大 量 虚拟 硬件 配置 (包括 GPU 和 集群 实例 ) 中 选择 资源 ， 通 过 访问 AWS 服务 
的 Web 门户 网 站 AWS 控制 台 部 署 EC2 实例 ， 或 者 通过 使 用 支持 多 种 编程 语言 的 Web 服务 
API 部署 EC2 实例 。EC2 还 具有 把 特定 的 运行 实例 另存 为 图 像 的 功能 ， 从 而 允许 用 户 创建 目 
己 用 于 部 署 系统 的 模板 。 这 些 模板 存储 在 S3 中 ， 可 以 提供 随 需 应 变 的 持久 性 存储 服务 。S3 
划分 为 不 同 的 桶 ( bucket)， 这 些 桶 是 以 二 进 制 形式 存储 对 象 的 容器 ， 含 有 丰富 的 属性 。 用 户 
可 以 存储 任意 大 小 的 对 象 ， 从 简单 文件 到 整个 磁盘 镜像 ， 并 可 以 从 任何 地 方 访 问 这 些 存 储 
实体 。 

除了 EC2 和 S3 之 外 ， 还 可 以 利用 广泛 的 服务 来 构建 虚拟 计算 系统 ， 包 括 网 络 文 持 、 绥 
存 系统 、DNS 、 数 据 库 (关系 和 非 关 系 ) 支持 等 。 

2. 谷歌 AppEngine 

谷歌 AppEngine 是 一 个 用 于 执行 Web 应 用 程序 的 可 扩展 运行 环境 ， 它 利用 了 谷歌 大 型 
计算 基础 设施 的 优势 ， 随 时 间 变 化 按 需求 动态 扩展 。AppEngine 提供 了 安全 的 执行 环境 和 各 
种 服务 的 集合 ， 简 化 了 可 扩展 的 高 性 能 Web 应 用 程序 的 开发 。 这 些 服务 包括 : 在 内 存 中 组 
存 、 可 扩展 的 数据 存储 、 作 业 队 列 、 消 息 传递 和 后 台 任 务 。 开 发 人 员 可 以 使 用 AppEngine 
软件 开发 包 (SDK) 在 自己 的 机 器 上 构建 和 测试 应 用 程序 ，SDK 复制 了 系统 运行 环境 ， 有 
i aonni 一 旦 开发 完成 ， 开 发 人 员 可 以 轻松 地 将 其 应 用 程序 迁移 到 
AppEngine 上 ， 设 置 服 务 价格 ， 使 其 服务 在 世界 范围 内 可 用 。AppEngine 目前 支持 的 语言 
括 Python 、Java 和 Go。 

3. 微软 Azure 

微软 Azure 是 一 个 云 操作 系统 和 一 个 用 于 开发 云 应 用 程序 的 平台 ， 一 般 为 Web 应 用 和 
分 布 式 应 用 提供 可 扩展 的 运行 环境 。Azure 上 的 应 用 程序 以 角色 的 概念 组 织 起 来 ， 用 以 标识 
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应 用 的 一 个 分 配 单元 ， 体 现 应 用 的 逻辑 。 目 前 ， 有 三 种 类 型 的 角色 : Web 角色 、 工 作者 角 
色 ， 虚 拟 机 角色 。Web 角色 用 来 承载 Web 应 用 程序 ; 工作 者 角色 是 一 个 更 通用 的 应 用 程序 
容器 ， 还 可 以 用 来 执行 工作 负载 的 处 理 ; 虚拟 机 角色 提供 了 一 个 可 以 完全 定制 云 参考 模型 中 
各 层 服务 (包括 操作 系统 ) 的 虚拟 环境 。 除 了 这 些 角 色 之 外 ，Azure 还 提供 了 一 套 执 行 补充 
应 用 的 附加 服务 ， 如 用 于 存储 (关系 数据 和 非 关 系数 据 ) 的 支持 、 网 络 、 缓 存 、 内 容 服务 等 。 

4. Hadoop 

Apache Hadoop 是 一 个 开源 框架 ， 适 于 处 理 商 用 机 上 的 大 型 数据 集 。Hadoop 是 谷歌 设 
计 的 应 用 程序 编程 模型 MapReduce 的 实施 方案 ，MapReduce 提供 了 数据 处 理 的 两 种 基本 
操作 : map 和 reduce。 前 者 转换 并 合成 用 户 输 入 的 数据 ， 后 者 聚合 由 map 操作 得 到 的 输出 
结果 。Hadoop 提供 了 运行 环境 ， 开 发 人 员 只 需要 提供 输入 数据 ， 指 定 需 要 执行 的 map 和 
reduce 函数 。Yahool! 是 Apache Hadoop 项 目的 倡导 者 ， 致 力 于 将 该 项 目 应 用 于 数据 处 理 的 
企业 级 云 计算 平台 。Hadoop 是 Yahoo! 云 计算 基础 设施 的 组 成 部 分 ， 文 持 该 公司 的 多 项 业务 
处 理 。 目 前 ，Yahoo! 管理 全 球 最 大 的 Hadoop 集群 ， 也 供 学 术 机 构 开 展 人 研究 工作 。 

5. Force.com 和 Salesforce.com 

Force.com 是 用 于 开发 社交 网 络 应 用 程序 的 云 计算 平台 。 作 为 SalesForce.com 的 基础 平 
4, SalesForce.com 是 客户 关系 管理 的 SaaS 解决 方案 。 开 发 者 可 以 用 Force.com AACA 
模块 创建 应 用 程序 : 可 以 使 用 一 套 支 持 企 业 所 有 业务 活动 的 完整 软件 组 件 。 用 户 也 可 以 开 
RACHA, REA AppExchange 中 已 有 的 组 件 创建 自己 的 应 用 程序 。 该 平台 为 应 用 开 
发 提供 了 全 面 支持 : 从 数据 布局 的 设计 到 业务 规则 和 工作 流程 的 定义 ， 以 及 用 户 接口 的 定 
义 。Force.com 平台 完全 托管 在 云端 ， 可 通过 Web 服务 技术 获取 其 功能 组 件 并 在 应 用 程序 中 
实现 。 

6. Manjrasoft Aneka 

Manjrasoft Aneka[165] 是 用 于 快速 创建 可 扩展 应 用 的 云 应 用 平台 ， 可 以 无 颖 上 且 弹 性 地 
部 堵 到 不 同类 型 的 云 平台 。Aneka 支持 各 种 开发 应 用 程序 的 编程 抽象 模型 ， 并 提供 可 以 部 署 
在 异 构 硬 件 (集群 、 联 网 的 人 台式 计算 机 和 云 资源 ) 上 的 分 布 式 运行 环境 。 开 发 人 员 可 以 选择 
不 同 的 程序 抽象 模型 来 设计 应 用 程序 : 任务 、 分 布 式 线程 和 map-reduce。 然 后 ， 应 用 程序 在 
面 回 服务 的 分 布 式 运行 环境 中 执行 ， 在 该 运行 环境 中 可 以 动态 按 需 集成 附加 资源 。 面 向 服务 
的 体系 结构 具有 极 大 的 灵活 性 ， 并 易于 集成 新 的 功能 ， 如 新 的 编程 模型 的 抽象 和 相关 的 运行 
管理 环境 。 在 运行 过 程 中 对 服务 的 管理 主要 包括 : 调度 、 执 行 、 记 账 、 结 算 、 存 储 和 QOS. 

以 上 这 些 平 台 是 应 用 云 计算 技术 的 主要 实例 ， 涵 盖 了 云 计算 参考 模型 中 的 三 大 部 分 : 
IaaS$ 、PaaS、SaaS。 本 书 使 用 Aneka 作为 参考 平台 ， 探 讨 分 布 式 应 用 程序 的 实际 实现 过 程 ， 
给 出 利用 Aneka 提供 的 各 种 编程 模型 和 抽象 实例 创建 云 计算 应 用 的 不 同方 法 。 


本 章 小 结 


本 章 讨论 了 云 计算 的 发 展 前 景 和 机 遇 ， 及 其 特点 和 面临 的 挑战 。 云 计算 模式 是 支撑 其 发 
展 的 模型 和 技术 逐渐 成 熟 和 融合 的 结果 ， Seer ae 虚拟 化 、Web 2.0、 面 向 服务 和 
效用 计算 。 

目前 没有 统一 的 云 计算 概念 。 本 书 将 探讨 云 计 算 不 同 的 定义 、 解 释 及 实现 方法 。 在 云 计 
算 的 所 有 不 同 解释 中 ,共同 的 特性 是 ， 云 系统 支持 IT 服务 (不论 是 虚拟 基础 设施 、 运 行 环 
境 还 是 应 用 服务 ) 的 动态 交付 ， 并 采用 了 基于 效用 的 成 本 模型 对 这 些 服 务 定价 。 这 一 理念 贯 
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穿 于 整个 计算 层次 中 ， 为 开发 可 扩展 应 用 及 其 服务 动态 地 提供 基于 云 托 管 平台 的 IT 基础 设 
施 和 运行 环境 服务 。 这 一 构想 促进 了 云 计 算 参 考 模型 的 产生 。 该 模型 确定 了 云 计算 的 三 类 主 
要 市 场 划分 (MARS HEHE) : laas, Paas 和 SaaS。 它 们 对 应 着 云 计 算 所 提供 的 不 同 服务 的 广 
义 分 类 。 

云 计算 的 长 远 目标 是 充分 实现 公共 基础 设施 服务 模型 以 促进 服务 的 提供 。 可 以 预见 ， 随 
着 新 技术 的 发 展 和 对 云 计算 交付 模式 理解 程度 的 加 深 将 会 形成 计算 公共 基础 设施 交易 的 全 
球 市 场 。 有 关 这 一 领域 的 研究 称 为 面向 市 场 的 云 计算 ， 面 向 市 场 进一步 强调 了 云 计 算 服 务 是 
作为 公共 基础 设施 服务 进行 交易 的 。 要 实现 这 一 构想 仍然 需要 很 长 时 间 ， 但 云 计 算 已 经 市 来 
了 经 济 、 环 境 和 技术 利益 。 通 过 将 IT 资产 变 成 公共 基础 设施 服务 ， 企 业 能 够 降低 运营 成 本 、 
增加 收入 。 云 计算 的 各 种 优点 在 实际 应 用 过 程 中 还 没有 完全 体现 出 来 。 安 全 性 和 合法 性 是 云 
计算 在 技术 层面 之 外 需 面临 的 挑战 。 

从 软件 设计 和 开发 的 角度 来 看 ， 新 的 挑战 出 现在 工程 计算 系统 中 。 云 计算 提供 不 同 技术 
的 融合 ， 利 用 这 些 技术 是 一 项 具有 挑战 性 的 工程 任务 。 云 计算 为 软件 应 用 架构 和 系统 体系 结 
构 设 计 带 来 了 新 的 机 遇 、 技 术 和 方法 。 必 须 考虑 的 一 些 关键 因素 是 : 虚拟 化 、 可 扩展 性 、 动 


态 配 置 、 大 数据 集 以 及 费用 模型 。 为 了 更 好 地 理解 这 些 概 念 ， 本 书 将 以 Aneka 作为 参考 平 


台 来 说 明 云 系统 和 应 用 编程 环境 。 
习题 


. 云 计 算 的 创新 性 是 什么 ? 

. 云 计 算 依 赖 的 技术 有 哪些 ? 

. 简要 描述 分 布 式 系统 特性 。 

. 云 计算 的 定义 及 其 核心 特征 是 什么 ? 
.促进 云 计算 发 展 的 主要 分 布 式 计算 技术 有 哪些 ? 
. 什么 是 虚拟 化 ? 

.Web 2.0 技术 带 来 的 重大 变革 是 什么 ? 

， 举 几 个 Web 2.0 应 用 程序 的 例子 。 
.描述 面向 服务 的 主要 特点 。 

10. 什么 是 效用 计算 ? 

11. 描述 云 计 算 的 发 展 前 景 。 

12. 简要 概括 云 计 算 参 考 模型 。 

13. 云 计算 的 主要 优势 是 什么 ? 

14. 简要 概括 云 计算 面临 的 挑战 。 

15. 云 应 用 开发 和 传统 软件 开发 有 什么 区 别 ? 
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Mastering Cloud Computing: Foundations and Applications Programming 


并 行 计算 与 分 布 式 计算 原理 





云 计 算是 一 种 新 的 技术 趋势 ， 可 以 更 好 地 利用 IT 基础 设施 、 服 务 和 应 用 。 云 计算 采用 
了 二 种 按 使 用 付费 的 服务 交付 模式 ， 用 户 无 需 拥 有 自己 的 基础 设备 、 平 台 或 应 用 ， 只 在 需要 
时 使 用 这 些 服务 即 可 。 这 些 IT 基础 设施 由 将 其 连 人 互联 网 的 服务 供应 商 所 有 和 维护 。 

本 意 主 要 阐述 并 行 分 布 式 计算 的 基本 原理 ， 讨 论 用 于 构建 去 计算 系统 和 应 用 的 模型 和 基 
本 概念 。 


2.1 计算 时 代 

串 行 和 并 行 是 两 种 基本 的 主要 计算 模型 。 串 行 计算 起 源 于 20 世纪 40 年 代 ， 比 并 行 (分 
布 式 ) 计算 早 了 近 十 年 ( 见 图 2-1 )。 当 时 ， 架 构 、 编 译 器 、 应 用 程序 和 问题 解决 环境 成 为 计 
算 发 展 的 四 个 关键 要 素 。 
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1940 1950 1960 1970 1980 1990 2000 2010 2020 2030 
图 2-1 计算 时 代 (1940 一 2030 ) 


计算 时 代 的 兴起 离 不 开 硬 件 架 构 的 发 展 ， 最 终 产生 了 系统 软件 ， 特 别 是 在 编译 器 和 操作 
系统 领域 ， 实 现 了 系统 管理 和 应 用 开发 。 应 用 和 系统 的 研发 是 最 令 人 感 兴 趣 的 地 方 ， 当 设 
计 出 问题 解决 环境 并 且 可 以 为 工程 师 们 提供 便利 时 ， 这 种 研发 就 会 被 逐渐 整合 。 这 标志 着 计 
算 范式 已 经 成 熟 并 成 为 主流 。 另 外 ， 计 算 时 代 的 每 个 方面 都 经 历 着 三 个 阶段 : 研究 和 开发 
(R&D)、 商 业 化 、 商 品 化 。 
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2.2 ”并行 计算 与 分 布 式 计算 


里 然 并 行 计算 和 分 布 式 计算 存在 细微 的 差别 ， 但 两 个 概念 往往 可 以 互 换 。 并 行 代表 一 类 
汉 厢 合 系统 ， 而 分 布 式 则 代表 更 广泛 的 一 类 系统 ， 包 括 紧 看 合 系统 。 

更 准确 地 说 ， 并 行 计算 指 的 是 将 计算 任务 分 配给 几 个 共享 相同 内 存 的 处 理 器 的 计算 模 
BL. 并 行 计算 系统 的 架构 通常 表现 为 组 件 的 同 构 性 : 每 个 处 理 器 都 是 相同 类 型 的 ， 且 拥有 相 
同 的 处 理性 能 。 共 享 内 存 有 一 个 独立 的 地 址 空间 ， 可 供 所 有 处 理 器 访问 。 并 行程 序 被 分 成 若 
干 执行 单元 并 分 配给 不 同 的 处 理 器 ， 它 们 之 间 依 靠 共 享 内 存 相互 通信 。 起 初 ， 只 有 具有 共享 
同一 物理 内 存 的 多 处 理 融 的 架构 才 可 称 为 并 行 系统 。 随 着 时 间 的 推移 ， 这 些 限制 条 件 已 经 放 
学 ,只 要 是 基于 共计 内 存 这 一 概念 的 架构 ， 无 论 是 物理 内 存 系统 ， 还 是 由 库 、 特 定 的 硬件 和 
高 效 的 网 络 基础 设施 组 成 的 系统 ， 都 可 以 称 为 并 行 系统 。 例 如 ， 一 个 集群 中 节点 通过 无 限 带 
各 网 络 连接 ， 且 配置 了 分 布 式 共 享 内 存 系统 ， 就 可 以 称 作 并 行 系统 。 

分 布 式 计 算是 指 那些 将 计算 任务 进行 划分 ， 并 在 不 同 计算 单元 中 同时 执行 的 架构 或 系 
统 ， 不 论 计算 单元 是 不 同 节点 上 的 处 理 器 ， 或 是 同一 计算 机 上 的 处 理 器 ， 再 或 是 同一 处 理 器 
中 的 内 核 。 因 此 ， 相 比 并 行 计算 ,分 布 式 计 算 包 含 的 系统 和 应 用 程序 的 范围 更 广 ， 是 更 为 通 
用 的 概念 。 尽 省 没有 规定 ,但 分 布 式 这 一 术语 通常 意味 着 计算 单元 的 位 置 不 同 ， 且 这 些 单元 
在 便 件 和 软件 功能 上 也 可 能 各 不 相同 。 典 型 的 分 布 式 系统 实例 是 计算 网 格 或 互联 网 计算 系 
统 ， 分 布 式 系统 在 全 球 范围 内 集成 各 种 架构 、 系 统 和 应 用 。 


2.3 ”并行 计算 基本 要 素 


现在 人 们 清楚 地 知道 ， 硅 处 理 右 心 片 已 经 逐渐 达到 其 物理 极限 。 处 理 带 的 处 理 速度 受制 
三 光速， 处 理 妖 中 封 疙 晶体 管 的 密度 也 受到 热力 学 温度 极限 的 约束 。 为 了 克服 这 些 限 制 ， 人 
人 门将 多 个 处 理 带 连接 起 来 互相 协调 工作 ， 成 功 地 解决 了 这 个 难题 。 在 这 一 方向 上 的 初步 探索 
引领 了 并 行 计算 的 发 展 ， 包 括 技术 、 架 构 和 用 于 并 行 执行 多 个 任务 的 系统 。 正 如 之 前 所 述 ， 
并 行 计算 和 分 布 式 计算 在 概念 上 没有 十 分 清晰 的 界定 ， 前 者 经 常用 来 代 蔡 后 者 。 本 市 将 介绍 
并 行 计算 的 特性 ， 以 及 协调 多 个 处 理 需 工作 的 单个 计算 机 中 的 并 行 性 。 


2.3.1 什么 是 并 行 处 理 


同时 在 多 个 处 理 器 上 处 理 多 个 任务 称 为 并 行 处 理 。 并 行程 序 由 多 个 活路 进程 (任务 ) 组 
成 ， 同 时 解决 给 定 的 问题 。 运 用 分 而 治之 方法 将 一 个 给 定 的 任务 分 为 多 个 子 任务 ， 每 个 子 任 
务 在 不 同 的 中 央 处 理 单元 (CPU) 中 进行 处 理 。 运 用 分 而 治之 方法 在 多 处 理 器 系统 上 编程 称 
作 并 行 编程 。 

传统 的 串 行 通信 计算 机 所 能 提供 的 计算 能 力 不 足 以 满足 如 今 许多 应 用 程序 的 需要 。 并 
行 处 理 通过 增加 计算 机 中 CPU 的 数量 ， 并 在 CPU 之 间 建 立 高 效 的 通信 系统 ， 可 以 有 效 地 解 
决 这 个 问题 。 不 同 处 理 器 之 间 分 担 了 工作 量 ， 可 以 得 到 比 单 处 理 器 系统 更 强 的 计算 能 力 和 
性 能 。 

很 多 因素 影响 着 并 行 处 理 的 发 展 ， 最 主要 有 以 下 几 扣 : 

o 在 科学 和 商业 计算 领域 ,计算 需求 不 断 增加 。 在 专业 计算 领域 ， 如 生命 科学 、 航 空 

航天 、 地 理 信息 系统 、 机 械 设计 和 分 析 等 领域 ,需要 高 速 计算 能 力 。 

o 由 于 受到 光速 和 热力 学 定律 的 限制 ， 串 行 架构 逐渐 达到 物理 极限 。 串 行 CPU 的 处 理 
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速度 也 达到 饱和 (不 能 再 垂直 增长 )。 因 此 ， 并 联 多 个 CPU 成 为 另 一 种 提高 计算 速度 

的 方法 《有 可 能 水 平 增长 )。 

运用 流水 线 技 术 和 超标 量 技术 等 设计 的 硬件 不 可 扩展 ， 且 需要 先进 的 编译 技术 。 此 

类 编译 技术 的 研发 是 一 项 艰巨 的 任务 。 

运用 向 量 处 理解 决 这 类 问题 效果 很 好 。 该 方法 适用 于 解决 大 量 科学 问题 (包括 大 矩阵 

运算 ) 和 图 形 处 理 。 但 在 其 他 领域 并 不 适用 ， 例 如 数据 库 。 

e 并 行 处 理 技术 成 熟 且 可 进行 商业 开发 ; 在 开发 工具 及 开发 环境 方面 ,已 经 展开 了 时 
有 成 效 的 研发 工作 。 

© 网 络 技术 的 长 足 发 展 为 异 构 计算 铺 平 了 道路 。 


2.3.2 并行 处 理 硬件 架构 


并 行 处 理 的 核心 元 素 是 CPU。 根据 可 以 同时 处 理 的 指令 流 和 数据 流 的 数量 ， 计 算 机 系 


统 可 以 分 为 以 下 四 类 ， 


e 单 指令 流 单 数据 流 (SISD) 系统 。 

o 单 指令 流 多 数据 流 (SIMD) 系统 。 

e 多 指令 流 单数 据 流 (MISD ) 系统 。 

e 多 指令 流 多 数据 流 (MIMD) 系统 。 

1. SISD 系统 

SISD 计算 系统 是 一 个 能 在 单数 据 流 上 执行 单 指令 的 单 处 理 器 机 器 ( 见 图 2-2 )。 在 SISD 


系统 中 ， 机 器 指令 按 顺 序 进 行 处 理 ， 因 此 采用 这 种 模式 的 计算 机 通常 称 为 序列 计算 机 。 大 
多 数 传 统计 算 机 采用 SISD 模型 构建 。 所 有 需要 处 理 的 指令 和 数据 必须 存放 在 主 存储 器 上 。 
SISD 模型 中 ， 处 理 单元 的 速度 受到 计算 机 内 部 信息 传递 速率 的 限制 。 典 型 SISD 系统 有 
IBM PC、Macintosh 和 工作 站 。 





图 2-2 SISD 构架 


2. SIMD 系统 
SIMD 计算 系统 是 可 以 在 不 同 的 数据 流 上 操作 而 在 多 CPU 上 执行 同一 指令 的 多 处 理 器 


lat (ILE 2-3 )。 由 于 包括 大 量 的 向 量 和 和 矩阵 运算 ， 所 以 基于 SIMD 模型 的 机 器 适用 于 科学 
计算 。 例 如 ， 语 名 


Ci = AiX Bi 


可 以 传递 给 所 有 处 理 单元 (PE)， 向 量 A 和 B 中 有 组 织 的 数据 元 素 可 以 分 成 多 组 (YN 组 对 
应 入 个 PE 系统 )， 一 个 PE 可 以 处 理 一 个 数据 集 。 典 型 SIMD 系统 有 Cray 的 向 量 处 理 机 和 
Thinking Machines 的 cm*。 
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图 2-3 SIMD #448 


3. MISD 系统 
MISD 计算 系统 是 能 在 同一 数据 集 上 操作 而 在 不 同 PE 执行 不 同 指令 的 多 处 理 器 机 器 
( 见 图 2-4 )。 例 如 ， 语 名 
y = sin (x) + cos (x) + tan (x) 
在 同一 数据 集 上 执行 不 同 的 操作 。 使 用 MISD 模型 构建 的 机 器 不 适 于 大 多 数 应 用 
程序 ， 已 经 设计 的 几 台 机 器 没有 一 个 可 以 商业 化 ， 它 们 更 像 是 智能 测试 而 非 实 用 的 
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图 2-4 MISD 构架 


4. MIMD 系统 

MIMD 计算 系统 是 能 在 多 个 数据 集 上 执行 多 个 指令 的 多 处 理 器 机 器 ( 见 图 2-5 )。MIMD 
模型 中 的 每 一 个 PE 都 有 单独 的 指令 和 数据 流 ， 因 此 使 用 该 模型 的 机 器 适用 于 所 有 类 型 的 应 
用 程序 。 与 SIMD 和 MISD 模型 不 同 ，MIMD 机 器 中 的 PE 是 异步 工作 的 。 
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MIMD 机 器 按照 PE 与 主 存 耦合 方式 不 同 大 致 可 分 为 共享 内 存 MIMD 和 分 布 式 内 存 
MIMD. 

(1) 共享 内 存 MIMD 计算 机 

在 共享 内 存 MIMD 模型 中 ， 所 有 执行 单元 都 连接 到 一 个 可 供 访 问 的 单一 全 局 内 存 上 
( 见 图 2-6 ) 。 基 于 这 个 模型 的 系统 也 称 为 紧 耦 合 多 处 理 器 系统 。 模 型 中 PE 之 间 通 过 共享 内 
存 进行 通信 ， 一 个 PE 修改 存储 在 全 局 内 存 中 的 数据 ， 对 所 有 其 他 PE 都 是 可 见 的 。 共 享 内 
存 MIMD 模型 的 典型 系统 主要 有 Silicon Graphics 计算 机 和 Sun/IBM SMP (对 称 多 处 理 器 ) 。 

(2) 分 布 式 内 存 MIMD 计算 机 

在 分 布 式 内 存 MIMD 模型 中 ,所 有 PE 都 有 一 个 本 地 内 存 。 基 于 这 种 模型 的 系统 也 称 
为 松 耦 合 多 处 理 器 系统 。 模 型 中 的 PE 之 间 通 过 内 部 互联 网 络 进行 通信 (进程 间 通 信 通 道 / 
IPC), PE 之 间 的 网 络 连 接 可 配置 成 树 状 、 网 状 、 块 状 等 。 每 一 个 PE 进行 异步 操作 ， 如 果 
任务 之 间 需 要 通信 / 同步 ， 那 么 可 以 通过 互相 交换 信息 来 实现 。 

共享 内 存 MIMD 架构 与 分 布 式 内 存 MIMD 模型 相 比 ， 前 者 更 易 编 程 ， 但 对 故障 的 容忍 
度 更 低 且 更 难 扩展 。 共 享 内 存 MIMD 中 的 故障 会 影响 整个 系统 ， 但 是 分 布 式 模型 则 不 然 ， 
分 布 式 模型 的 每 一 个 PE 都 可 以 轻易 地 实现 隔离 。 此 外 ， 共 享 内 存 MIMD 架构 难以 扩展 ， 因 
为 增加 更 多 的 PE 会 导致 内 存 争 用 。 在 分 布 式 内 存 MIMD 模型 中 不 会 出 现 这 种 情况 ， 因 为 每 
一 个 PE 都 有 自己 的 内 存 。 因 此 ， 分 布 式 内 存 MIMD 架构 目前 最 受 欢 迎 。 


进程 间 通 信 通 道 ”进程 间 通 信 通 道 
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图 2-6 共享 ( 左 ) 和 分 布 式 ( 右 ) 内 存 MIMD 构架 
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2.3.3 ”并行 编程 方法 


顺序 程序 运行 在 单个 处 理 器 上 且 有 单一 控制 线程 。 为 了 让 几 个 处 理 器 共同 处 理 同 一 个 程 
序 ， 就 必须 将 该 程序 分 成 更 小 的 、 独 立 的 块 ， 这 样 每 个 处 理 器 只 需 处 理 单独 的 一 小 块 程序 。 
以 这 种 方式 分 解 的 程序 就 是 并 行程 序 。 

并 行程 序 设 计 有 多 种 方法 ， 最 著名 的 有 以 下 几 种 : 

e 数据 并 行 。 

o 处 理 并 行 。 

e “农场 主 和 工作 者 ”模式 。 

三 种 模型 都 适用 于 任务 级 并 行 。 在 数据 并 行 的 情况 下 ， 分 治 算法 将 数据 分 成 多 个 集 ， 然 
后 在 不 同 的 处 理 单元 中 使 用 相同 的 指令 处 理 每 一 个 数据 集 。 此 方法 非常 适合 在 采用 SIMD 模 
型 的 计算 机 上 进行 处 理 。 在 处 理 并 行 的 情况 下 ， 一 个 给 定 运算 的 多 个 (但 不 同 的 ) 操作 可 由 
多 个 处 理 副 处理。 在 “农场 主 和 工作 者 ”模式 中 ， 工 作 分 配方 式 如 下 : 一 个 处 理 器 配置 为 主 
站 ， 所 有 其 他 PE 被 指定 为 从 站 ; 主 站 分 配 工作 给 从 站 ， 工作 结束 时 ， 从 站 通知 主 站 ， 主 站 
进而 收集 处 理 结 果 。 这 些 方法 可 用 于 不 同 级 别 的 并 行 处 理 。 

2.3.4 并 行 性 的 级 别 

并 行 等 级 由 并 行 代码 块 (颗粒 规模 ) 决定 。 表 2-1 列 出 了 并 行 性 代码 粒度 的 分 类 。 这 些 
方法 的 共同 目标 是 通过 降低 延迟 来 提高 处 理 器 的 效率 。 为 了 降低 延迟 ， 无论 何 时 开始 长 时 间 
的 操作 ， 都 必须 有 准备 好 运行 的 另 一 个 线程 。 这 样 做 是 为 了 能 同时 执行 两 个 或 两 个 以 上 的 单 
线程 应 用 程序 ， 如 编译 、 文 本 格式 化 、 数 据 库 查询 和 设备 仿真 。 


如 表 2-1 和 图 2-7 所 示 ， 应 用 程序 的 并 行 性 表 2-1 并 行 性 级 别 
可 以 分 为 几 个 等 级 : a 
。 大 颗粒 (任务 级 ). 
。 中 颗粒 (控制 级 )。 
。 小 颗粒 (数据 级 ). 


e 极 小 颗粒 (发 出 多 条 指令 )。 
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本 书 认为 并 行 和 分 布 式 属于 前 两 个 级 别 ， 涉 及 多 个 线程 或 进程 中 的 计算 分 布 。 


2.35 注意 事项 


现在 ,我 们 已 经 介绍 了 一 些 并 行 计算 架构 和 模型 方面 的 基本 内 容 ， 下 面 我 们 分 至 几 点 系 
37) 统 设计 和 实施 方面 的 经 验 。 这 些 注 意 事 项 可 以 作为 指南 ， 帮 助 我 们 了 解 并 行 性 给 应 用 程序 或 
软件 系统 带 来 的 好 处 。 尤 其 需要 注意 ， 并 行 性 通过 同时 执行 多 个 活动 来 增加 系统 吞吐 量 和 计 
算 速 度 。 但 是 ， 速 度 增 长 和 控制 因素 之 间 并 不 是 线性 关系 。 例 如 ， 对 于 给 定 的 宗 个 处 理 关 ， 
用 户 希 望 速度 也 增加 倍 ， 但 这 只 是 理想 情况 ， 由 于 通信 开销 而 不 太 可 能 实现 。 
需要 考虑 以 下 两 个 重要 原则 : 
e 计算 速度 和 系统 成 本 的 平方 根 成 正比 ， 二 者 从 来 不 呈 线 性 增加 。 因 此 ， 系 统 的 运算 
速度 越 快 ， 提 高 系统 速度 的 成 本 就 越 高 ( 见 图 2-8 ) 。 


速度 (GHz) 
成 本 ($) 
O 
图 2-8 成 本 和 速度 
38] e 并 行 计算 速度 和 处 理 器 数量 成 对 数 关系 (y=Klog(N) )。 如 图 2-9 所 示 。 
7 
速度 
6 
5 
4 
3 
2 
处 理 器 的 数量 


DR 2 6 40 o E 
图 2-9 处 理 需 数量 和 速度 
并 行 处 理 的 快速 发 展 和 相关 领域 概念 界限 的 模糊 ,导致 许多 术语 混乱 不 清 。 即 使 明确 定 
义 了 了 区别， 如 共 亭 内 存 和 分 布 式 内 存 ， 也 会 由 于 技术 发 展 而 逐渐 融合 。 在 并 行 处 理 这 一 领 
域 ， 任 何人 都 可 以 贡献 自己 的 力量 。 因 此 ， 计 算 机 架构 师 、 操 作 系统 设计 师 、 语 言 设计 师 和 
计算 机 网 络 设计 师 都 发 挥 着 各 自 的 作用 。 


24 分 布 式 计 算 基本 要 素 


上 一 节 讨 论 了 在 单个 计算 机 或 系统 中 引入 并 行 机 制 的 技术 和 架构 ， 以 及 如 何在 不 同 级 别 
的 计算 堆栈 中 并 行 工 作 。 本 节 将 延伸 这 些 概念 并 探究 如 何 利用 由 多 个 异 构 计算 机 和 系统 组 成 
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的 系统 来 执行 多 个 活动 。 我 们 将 探讨 什么 是 分 布 式 计算 ， 并 从 软件 设计 师 的 角度 更 准确 地 介 
绍 最 第 见 的 实现 分 布 式 计算 系统 的 原则 和 模式 。 


2.4.1 通用 概念 和 定义 


分 布 式 计 算 主 要 人 研究 用 于 构建 和 管理 分 布 式 系 统 的 模型 、 架 构 和 算法 。Tanenbaum 等 [1] 
给 出 了 分 布 式 系统 的 通用 定义 : 
分 布 式 系 统 是 独立 计算 机 的 集合 ， 对 于 用 户 来 说 是 一 个 整体 系统 。 
该 定义 大 致 包括 了 多 种 类 型 的 分 布 式 计算 系统 ， 这 些 系统 统一 使 用 和 集成 分 布 式 资源 。 
本 章 重 点 讲解 将 多 个 独立 计算 机 转换 为 整体 系统 的 架构 模型 。 通 信和 是 分 布 式 计算 的 基础 之 
一 。 由 于 分 布 式 系 统 由 协同 工作 的 多 个 计算 机 组 成 ， 所 以 有 必要 利用 网 络 实现 多 计算 机 之 间 
的 数据 和 信息 交换 (Coulouris 等 [2] ): 
分 布 式 系统 组 件 位 于 仅 能 通过 传递 消息 来 通信 和 协调 活动 的 网 络 计 算 机 中 。 
正如 定义 所 述 ， 分 布 式 系统 组 件 通过 某 种 消息 传递 进行 通信 。 该 定义 包括 几 种 通信 
模型 。 


24.2 分布 式 系统 组 件 


分 布 式 系 统 是 从 硬件 到 软件 的 整个 计算 层次 模型 中 多 个 组 件 交 互 的 结果 。 许 多 组 件 协 同 
工作 ， 为 用 户 呈 现 出 一 个 单一 的 整体 系统 。 图 2-10 描述 了 提供 分 布 式 系 统 服 务 的 不 同 层 的 
概况 。 





图 2-10 分 布 式 系统 的 分 层 视 图 


在 底层 ,计算机 和 网 络 硬件 构成 了 物理 基础 设施 ， 这 些 组 件 由 操作 系统 直接 管理 。 操 作 
系统 负责 提供 基础 服务 ， 用 于 进程 间 通 信 、 进 程 调度 和 管理 、 文 件 系统 和 本 地 设备 的 资源 管 
理 。 将 网 络 和 计算 机 这 两 层 合并 为 一 个 平台 ， 在 这 个 平台 上 配置 特定 软件 ， 便 可 将 联网 计算 
机 组 成 一 个 分 布 式 系统 。 

把 公认 的 标准 应 用 到 操作 系统 层 甚至 硬件 网 络 层 中 ， 利 用 异 构 组 件 可 以 很 容易 地 构造 
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一 个 统一 的 集成 系统 。 例 如 ,不同 设备 之 间 的 网 络 连接 由 协议 进行 控制 ， 实 现 设 备 无 缝 交 
互 。 在 操作 系统 层 ， 进 程 间 通 信服 务 在 标准 化 通信 协议 下 执行 ， 例 如 TCP/IP 协议 、UDP H 
MS. 

中 间 件 层 利 用 这 些 服务 构建 了 一 个 开发 和 部 署 分 布 式 应 用 程序 的 统一 环境 。 这 一 层 支 持 
分 布 式 系统 的 编程 范式 ， 我 们 将 在 本 书 第 $ ~ 7 章 进行 描述 。 依 靠 操作 系统 提供 的 服务 ， 中 
间 件 层 可 开发 协议 、 数 据 格式 以 及 用 于 开发 分 布 式 应 用 程序 的 编程 语言 或 框架 。 这 些 为 分 布 
式 应 用 程序 开发 人 员 提 供 了 统一 接口 ， 完 全 独立 于 底层 操作 系统 且 屏 荐 了 底层 的 异 构 性 ;. 

分 布 式 系统 层次 架构 的 顶层 是 利用 中 和 间 件 设计 和 开发 的 应 用 或 服务 。 设 计 应 用 层 可 实现 
多 个 目的 ， 并 且 具 有 通过 本 地 或 Web 浏览 器 可 访问 的 图 形 用 户 接 口 (GUI)。 例如 ， 在 云 计 
算 系 统 中 ， 不 论 是 为 终端 用 户 提供 分 布 式 应 用 接口 ， 还 是 为 构建 分 布 式 系统 提供 平台 服务 ， 
都 强烈 推荐 采用 Web 技术 。IaaS 的 供应 商 给 出 了 很 好 的 实例 ， 如 亚马逊 Web ARS ( AWS) 
便于 创建 虚拟 机 、 将 虚拟 机 组 织 成 集群 以 及 在 集群 中 部 署 应 用 和 系统 。 图 2-11 说 明了 分 布 
式 系 统 的 一 般 参 考 架 构 如 何 应 用 于 云 计算 系统 - 
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图 2-11 分 布 式 云 计算 系统 


硬件 和 操作 系统 层 组 成 了 一 个 或 多 个 数据 中 心 的 最 基本 结构 ， 其 中 服务 器 通过 高 速 网 络 
部 署 和 连接 在 一 起 。 这 些 硬 件 由 操作 系统 管理 ， 操 作 系 统 提供 了 基本 的 管理 计算 机 和 网 络 的 
能 力 。 核 心 业 务 逻 辑 在 管理 虚拟 化 层 的 中 间 件 上 实现 ， 虚 拟 化 部 署 在 物理 机 上 ， 以 实现 最 大 
化 资源 利用 ， 并 且 提 供 可 定制 的 应 用 运行 环境 。 按 照 为 客户 提供 的 服务 类 型 ， 中 间 件 为 应 用 
开发 大 员 提供 了 不 同 的 工具 。 这 些 工 具 通过 Web 2.0 兼容 接口 提供 了 一 系列 服务 ， 包 括 虚 拟 
机 创建 、 应 用 程序 开发 和 运行 环境 部 署 。 


24.3 分布 式 计算 架构 模式 


尽管 分 布 式 系统 包含 若干 层 之 间 的 交互 ， 但 只 有 中 间 件 层 才 能 够 进行 分 布 式 计算 ， 因 为 
中 间 件 层 为 应 用 提供 了 统一 的 整体 运行 环境 。 可 采用 多 种 不 同 的 方式 来 组 织 组 件 ， 整 合并 构 


AL 成 分 布 式 计算 环境 。 这 些 组 件 之 间 的 交互 以 及 组 件 的 职责 决定 了 中 间 件 的 结构 和 类 型 ， 换 各 
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证 说 ， 也 就 是 定义 了 中 间 件 架构 。 了 解 架构 模式 [104] 有 助 于 从 总 体 上 理解 和 划分 软件 系统 
Ss i E 
Ed TA Re 组 件 、 连 接 器 及 其 结合 条 件 一 起 作为 架 

构 模 式 的 实例 [105] 。 

设计 模式 [106] 有 助 于 软件 工程 师 和 开发 者 为 如 何在 应 用 中 构建 组 件 关系 以 及 理解 软 
件 应 用 程序 的 内 部 结构 达成 共识 。 架 构 模 式 在 软件 系统 的 整体 架构 中 起 到 相同 的 作用 。 本 节 
介绍 分 布 式 计算 的 相关 架构 模式 ， 关 注 每 个 模式 特有 的 组 件 和 连接 器 。 分 布 式 系统 的 架构 模 
式 可 以 帮助 我 们 理解 系统 中 组 件 的 不 同 作 用 ， 以 及 如 何 跨 多 机 分 配 组 件 。 架 构 模 式 分 为 两 
KR: 

e 软件 架构 模式 。 

e RARR 

第 一 类 与 软件 的 逻辑 结构 有 关 ， 第 二 类 包括 从 组 件 方面 描述 分 布 式 软件 系统 物理 结构 的 
所 有 方式 ， 

1. 组 件 和 连接 器 

在 评 细 讨论 架构 模式 之 前 ， 需 要 给 出 一 个 恰当 的 术语 。 首 先 解 释 组 件 和 连接 器 的 含义 ， 
因为 组 件 和 连接 兹 是 定义 架构 模式 的 基本 构建 模块 。 组 件 代表 一 个 封装 了 系统 的 功能 或 特性 
的 软件 单元 。 组 件 实 例 可 以 是 程序 、 对 象 、 进 程 、 管 道 或 过 滤器 。 连 接 器 是 一 种 允许 组 件 之 
由 进行 合作 和 协调 的 通信 机 制 。 与 组 件 不 同 的 是 ， 连 接 器 不 封装 在 单一 实体 中 ， 而 是 以 分 布 
式 方式 由 多 个 系统 组 件 实现 。 


2. 软件 架构 模式 
软件 架构 模式 是 基于 软件 组 件 的 逻辑 结构 。 它 提供 了 整个 系统 的 直观 视图 ， 而 忽略 了 系 
统 的 物理 部 署 ， 因 此 软件 架构 模式 十 分 有 用 。 表 2-2 ”软件 架构 模式 
软件 架构 还 能 确定 构成 系统 的 组 件 和 组 件 间 交 种 类 最 常用 的 架构 模式 
互 模式 的 主要 抽象 模型 。Garlan 和 Shaw [105] 。 数据 中 心 “| 仓库 
给 出 了 软件 架构 的 分 类 ， 如 表 2-2 所 示 。 sth 
LEE EM RAS 数据 流 。 | 
基础 ， 下 一 节 将 进行 描述 。 基于 规则 的 系统 
) 数据 中 心 架构 虚拟 机 | 解释 器 
这 类 架构 将 数据 作为 软件 系统 的 基本 元 主 程序 和 子 程序 调用 / 自 上 而 下 的 系统 
素 ， 可 访问 的 共享 数据 是 以 数据 为 中 心 架构 的 。 调用 和 返回 
核心 特征 。 因 此 ， 数 据 的 完整 性 是 系统 的 整体 ee 
目标 ， 特 别 是 在 分 布 式 和 并 行 计算 系统 中 。 独立 组 件 | 事件 系统 
仓库 架构 模式 是 此 类 架构 中 相关 程度 最 高 


的 参考 模型 。 其 特点 是 有 两 个 主要 组 件 : 可 以 表示 系统 当前 状态 的 中 央 数 据 结 构 ， 以 及 操作 
中 央 数 据 的 独立 组 件 集合 。 独 立 组 件 与 中 央 数 据 结 构 进 行 交互 的 方式 有 多 种 。 根 据 对 共享 数 
据 结构 控制 方法 的 选择 ， 还 可 进一步 将 基于 仓库 的 架构 划分 为 子 类 。 特 别 值得 关注 的 是 数据 
库 和 黑板 。 数 据 库 系统 的 动态 性 由 独立 组 件 控 制 ， 在 中 央 仓 库 发 出 动作 触发 特定 进程 的 选择 
以 实现 数据 操作 。 在 黑板 系统 中 ， 中 央 数 据 结构 是 选择 待 执行 进程 的 主要 触发 大。 

黑板 架构 由 三 个 主要 部 件 组 成 : 

o 知识 源 。 用 于 更 新 黑板 中 维护 的 知识 库 的 实体 。 
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© 黑板 。 表 示 在 知识 源 中 共享 的 、 存 储 应 用 知识 库 的 数据 结构 。 

o 控制 。 触 发 器 和 过 程 的 集合 ， 负 责 管理 与 黑板 的 交互 ， 更 新 知识 库 的 状态 。 

在 此 参考 模型 中 ， 知 识 源 表示 共享 黑板 的 智能 代理 ， 对 知识 库 的 改变 作出 响应 ， 这 与 一 
些 专家 在 黑板 前 的 头脑 风暴 非常 相似 。 黑 板 模型 已 经 广泛 用 于 人 工 智 能 应 用 ， 以 领域 专家 给 
出 的 声明 和 规则 的 形式 来 维护 领域 知识 。 这 些 操作 通过 一 个 控制 外 壳 程 序 来 控制 系统 的 任务 
处 理 活动 。 此 模型 现 已 成 功 应 用 于 语音 识别 和 信号 处 理 领域 。 

(2) 数据 流 架构 

数据 流 架 构 中 ， 控 制 计 算 的 是 数据 的 可 用 性 。 相 对 于 以 数据 的 访问 为 核心 特征 的 数据 中 
心 架构 ， 数 据 流 架构 显然 包括 数据 流 ， 因 为 此 架构 设计 是 由 数据 从 组 件 到 组 件 的 有 序 移动 决 
定 的 ， 数 据 的 移动 也 是 组 件 之 间 的 通信 方式 。 数 据 流 架构 可 按照 如 下 方式 分 类 : 系统 控制 方 
法 、 组 件 之 间 的 并 发 度 和 描述 数据 流 的 拓扑 结构 。 

顺序 批 处 理 模 式 。 顺 序 批 处 理 模 式 的 特点 是 由 独立 程序 组 成 的 有 序 序 列 的 按 序 执行 。 这 
些 程序 以 文件 的 形式 串联 在 一 起 ， 某 一 程序 的 输出 作为 下 一 个 程序 的 输入 ， 最 后 一 个 程序 
执行 完 的 输出 作为 结果 。 这 种 设计 在 大 型 机 时 代 的 计算 领域 中 广 为 流 行 ， 至今 还 在 应 用 。 例 
如 ， 许 多 进行 科学 计算 的 分 布 式 程 序 被 定义 为 由 程序 序列 表示 的 作业 ， 如 数据 的 预 过 滤 、 解 
析 和 后 处 理 。 通 常用 批 处 理 方式 组 合 执行 这 些 程 序 序列 。 

管道 过 滤器 模式 。 管 道 过 滤 需 模式 是 之 前 所 摘 述 的 架构 模式 的 一 种 变形 ， 它 将 软件 系统 
的 活动 描述 成 数据 变换 的 序列 。 加 工 链 中 的 每 个 组 件 称 为 过 滤器 ， 用 数据 流 表示 过 滤器 之 间 
的 连接 。 就 顺序 批 处 理 模 式 而 言 ， 数 据 按 增 量 顺序 被 处 理 ， 一 旦 获得 输入 流 中 的 数据 ， 每 个 
过 滤 需 就 会 立即 进行 数据 处 理 。 只 要 一 个 过 滤器 产生 了 可 使 用 的 数据 ， 下 一 个 过 滤器 就 会 开 
始 处 理 。 过 滤器 通常 没有 状态 表示 ， 且 没有 前 后 顺序 ， 它 们 按照 内 存 中 的 数据 结构 连接 ， 如 
先进 / 先 出 (FIFO) 结构 或 其 他 数据 结构 等 。 这 种 特定 的 排序 称 为 流水 线 ， 它 利用 了 过 滤器 
执行 时 的 并 发 性 。 流 水 线 微 处 理 器 是 这 种 架构 的 经 典 例子 之 一 ， 通 过 完成 每 个 指令 的 不 同 阶 
段 使 得 多 重 指令 同时 执行 。 我 们 可 以 识别 过 滤器 的 指令 段 ， 而 数据 流 则 由 处 理 器 内 部 共享 的 
寄存 天 表示 。 另 一 个 例子 是 UNIX shell 管道 (例如 cat<file-name>|grep<pattern>|wc-1)， 其 过 
滤 顺 由 单一 外 充 程 序 组 合 而 成 ， 链 接 在 一 起 的 输入 和 输出 数据 流 实 现 过 滤器 之 间 连 接 。 该 架 
构 可 用 于 编译 硕 设 计 《〈 例 如 lex/yacc 模型 基于 扫描 、 解 析 、 语 义 分 析 、 代 码 生 成 各 阶段 形成 
管道 )、 图 像 和 信号 处 理 、 音 视频 流 处 理 。 

当 系 统 设计 包含 多 阶段 处 理 时 ,数据 2-3 顺序 批 处 理 和 管道 过 滤器 方式 的 比较 


流 架 构 是 最 理想 的 。 数 据 流 架构 可 以 看 作 批 处 理 管道 过 滤器 

是 将 单独 组 件 编排 在 一 起 的 集合 。 在 此 方 AE . 细 粒 度 

式 下 ,组 件 是 经 明确 定义 的 接口 ， 包含 输 高 延迟 由 于 增加 了 输入 处 理 ， 延 迟 降低 
人 和 输出 端口 ， 连 接 器 由 端口 之 间 的 数据 “外 部 访问 输入 | 输入 本 地 化 

流 表示 。 顺 序 批 处 理 和 管道 过 滤器 模式 之 “_ 非 并 发 可 能 并 发 


间 的 区 别 如 表 2-3 所 示 。 下 区 了 不 易 交互 但 有 可 能 


(3) 虚拟 机 架构 

庶 拟 机 架构 方式 的 特点 是 利用 抽象 的 执行 环境 (通常 称 为 虚拟 机 ) 模拟 硬件 或 软件 中 不 
可 见 的 功能 。 应 用 程序 和 系统 在 这 一 层 上 实现 ， 并 且 在 各 种 实现 了 虚拟 机 接口 的 硬件 和 软件 
环境 中 具有 可 移植 性 。 实 现 该 模式 系统 的 一 般 交 互 流程 是 : 程序 (或 应 用 ) 定义 操作 和 状态 
的 抽象 格式 ， 该 抽象 可 由 虚拟 机 引擎 处 理 。 执 行 过 程 是 对 程序 的 解释 和 处 理 。 在 此 情形 下 ， 
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通常 由 引擎 维 护 程 序 状态 的 内 部 表示 。 常 见 虚 拟 机 架构 的 例子 是 基于 规则 的 系统 、 解 释 器 和 
命令 - 语言 处 理 器 。 

基于 规则 模式 。 此 架构 的 特点 是 将 抽象 执行 环境 看 作 一 个 推理 机 ， 以 适当 的 规则 或 谓词 
的 形式 表达 程序 。 应 用 程序 的 输入 数据 通常 表示 为 一 组 声明 或 事实 ， 推 理 机 使 用 这 些 声 明 或 
事实 激活 规则 或 谓词 ， 以 此 来 处 理 数据 。 输 出 是 规则 激活 产生 的 结果 或 者 是 输入 数据 的 一 组 
声明 。 规 则 或 谓词 的 集合 构成 了 用 于 推理 系统 属性 的 知识 库 。 该 方法 比较 特别 ， 人 允许 以 行为 
方式 而 不 是 组 件 来 描述 系统 或 域 。 基 于 规则 的 系统 在 人 工 智 能 领域 非常 流行 ， 在 过 程控 制 领 
域 有 许多 实际 应 用 。 其 中 ,通过 PLECO 收集 和 处 理 的 传感器 数据 ， 在 传感器 数据 异常 时 产生 
警告 ， 基 于 规则 的 系统 能 够 监控 物理 设备 的 状态 。 另 一 个 基于 规则 系统 的 应 用 是 在 互联 网 领 
ih: 网 络 入 侵 检 测 系统 (NIDS) 常 依赖 一 组 规则 来 识别 可 能 入 侵 计 算 系 统 的 异常 行为 。 

解释 器 模式 。 解 释 器 模式 的 核心 特征 是 存在 一 个 引擎 将 伪 代 码 解 释 成 解释 器 可 识别 的 格 
式 。 解 释 后 的 伪 代 码 程序 才能 执行 。 根 据 此 模式 构造 的 系统 主要 包括 四 个 组 件 : 核心 解释 
引擎 、 存 储 待 解释 伪 代 码 的 内 部 存储 器 、 引 警 的 当前 状态 表示 、 正 在 执行 程序 的 当前 状态 表 
示 。 此 模型 在 为 高 级 编程 语言 (Java, C#) 和 脚本 语言 ( Awk，PERI 等 ) 设计 虚拟 机 时 非常 
有 用 。 在 此 情形 下 ， 虚 拟 机 将 终端 用 户 的 抽象 和 执行 此 抽象 的 软 / 硬件 环境 连接 起 来 。 

虚拟 机 架构 的 特征 是 应 用 程序 和 执行 环境 之 间 的 媒介 层 。 这 样 设 计 的 优点 是 应 用 独立 于 
底层 的 硬件 和 软件 环境 ; 但 同时 也 存在 缺点 ， 如 性 能 的 下 降 ， 还 可 能 在 提供 虚拟 执行 环境 后 
无 法 获取 底层 系统 的 特性 。 

(4) 调用 和 返回 架构 

此 架构 确定 了 被 组 织 成 组 件 的 所 有 系统 ， 由 方法 调用 将 这 些 组 件 连 接 起 来 。 此 架构 的 系 
统 活 动 特征 在 于 一 连 串 方法 调用 ， 这 些 方法 调用 的 执行 和 组 合 标识 了 一 个 或 多 个 操作 的 执 
行 。 组 件 的 内 部 组 织 和 连接 方式 可 能 不 同 ， 但 按照 系统 架构 和 调用 方法 可 分 为 三 类 : BEM 
下 结构 ， 面 向 对 象 结构 和 分 层 结构 。 

自 上 而 下 结构 。 此 结构 以 命令 式 编程 开发 的 系统 为 代表 ， 采 用 分 而 治之 的 方法 解决 问 
题 。 根 据 这 种 架构 开发 的 系统 由 一 个 主 程序 通过 调用 子 程序 或 过 程 来 完成 任务 。 该 染 构 的 
组 件 是 过 程 和 子 程序 ， 连 接 方式 是 方法 调用 。 调 用 程序 传递 参数 信息 ， 并 从 返回 值 或 参数 
中 得 到 数据 。 方 法 调用 还 可 以 利用 远程 方法 调用 技术 扩展 单一 进程 的 边界 ， 如 远程 过 程 调用 
(RPC) 及 相关 衍生 方法 。 程 序 执行 的 整体 结构 可 以 用 树 形 结构 表征 ， 树 的 根 节点 是 主 程序 的 
主要 功能 。 此 架构 从 设计 角度 看 非常 直观 ， 但 是 难以 在 大 型 系统 中 维护 和 管理 。 

面向 对 象 结构 。 此 架构 利用 面向 对 象 编程 (OOP) 方法 设计 和 实现 系统 ， 包 含 的 系统 类 
型 非常 广泛 。 系 统 用 类 来 声明 ， 用 对 象 实现 。 类 通过 定义 组 件 的 类 型 ， 指 定数 据 的 状态 及 对 
数据 的 操作 。 与 自 上 而 下 结构 相 比 ， 面 向 对 象 结构 的 主要 优点 是 数据 及 对 数据 的 操作 之 间 相 
互联 系 。 对 象 实例 隐藏 了 内 部 状态 表示 ， 并 在 操作 其 他 组 件 时 保证 其 完整 性 。 这 样 可 以 更 好 
地 将 进程 分 解 ， 并 且 更 易于 管理 系统 。 此 方式 的 缺点 主要 有 两 个 : 每 一 个 对 象 要 调用 另 一 个 
对 象 时 ， 需 要 知道 另 一 个 对 象 的 身份 ; 要 谨慎 地 设计 共享 对 象 ， 以 保证 其 状态 一 致 性 。 

分 层 结构 。 分 层 系统 模式 按 层 设 计 和 实现 软件 系统 ， 给 出 了 系统 抽象 的 不 同 级 别 。 通 稼 
每 一 层 最 多 与 两 层 进行 操作 : 其 低 一 层 的 抽象 层次 和 高 一 层 的 抽象 层次 。 特 定 的 协议 和 接 


O “可 编程 控制 器 (PLC) 是 用 于 自动 化 或 机 械 电 子 化 处 理 的 数字 计算 机 。 不 同 于 普通 计算 机 ，PLC 能 管理 多 个 
输入 线 并 产生 多 个 输出 。 尤 其 是 PLC 具有 重 棒 性 ， 适 用 于 工厂 等 特殊 环境 。PLC 是 硬件 实时 系统 ， 在 输入 
后 的 给 定时 间 内 就 能 产生 输出 。 | 
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口 定义 了 相 邻 层 如 何 交 互 。 可 以 将 这 样 的 系统 建 模 为 层次 结构 ， 每 层 对 应 每 个 抽象 级 别 。 因 
此 ， 组 件 是 层 ， 连 接 器 是 接口 和 用 于 邻近 层 间 交互 的 协议 。 用 户 通常 与 最 高 抽象 层 进 行 交 
互 ， 而 高 层 则 与 低层 进行 交互 并 使 用 低层 的 服务 完成 活动 。 这 个 过 程 反复 执行 (如 打 必 要 的 
话 ) 直到 到 达 最 底层 。 此 过 程 也 有 可 能 反 向 进行 : 低层 的 事件 和 反馈 可 以 触发 高 层 的 活动 ， 
并 逐 层 向 上 传递 信息 。 分 层 结构 的 优点 在 于 ， 与 面向 对 象 结构 一 样 ， 分 层 结构 支持 系统 模 
块 化 设计 ， 并 可 以 根据 不 同 级 别 的 抽象 将 属于 特定 级 别 的 所 有 操作 封装 在 一 起 ， 以 实现 系 
统 分 解 。 层 可 以 苦 换 ， 只 要 它们 符合 所 要 求 的 协议 和 接口 ， 这 使 得 系统 具有 灵活 性 。 分 层 结 
构 的 主要 缺点 是 可 扩展 性 差 ， 在 不 改变 层 间 协议 和 接口 的 情况 下 ， 不 能 够 增加 层 ” ， 这 使 得 
增加 操作 变 得 复杂 。 分 层 结构 的 例子 包括 现代 操作 系统 内 核 、 国 际 标准 组 织 /开放 系统 互联 
(ISO/OSI) 及 TCP/IP 栈 。 

(5) 基于 独立 组 件 的 架构 模式 

这 类 架构 模式 用 具有 生命 周期 的 独立 组 件 进行 系统 建 模 ， 且 通过 组 件 间 的 交互 来 执行 活 
动 。 此 类 架构 包括 两 类 : 通信 进程 和 事件 系统 。 二 者 对 组 件 交 互 的 管理 方法 不 同 。 

通信 进程 。 在 此 架构 模式 中 ， 组 件 被 表示 为 由 IPC 设备 协调 管理 的 独立 进程 。 这 种 抽象 
方法 特别 适合 分 布 式 系统 建 模 。 该 系统 分 布 在 计算 节点 构成 的 网 络 中 ， 由 若干 个 必要 的 并 发 
进程 组 成 ， 每 一 个 进程 都 为 其 他 进程 提供 服务 ， 并 可 以 利用 其 他 进程 提供 的 服务 。 这 些 进程 
的 概念 结构 和 通信 方式 依据 其 使 用 的 特定 模式 而 有 所 不 同 ， 可 以 是 对 等 模式 (peer-to-peer) 
或 是 客户 端 / 服务 器 模式 (client/server)  。 这 些 进程 使 用 连接 器 作为 IPC 设备 进行 通信 。 

事件 系统 。 在 这 种 架构 模式 中 ， 系 统 组 件 松 散 地 耦合 、 连 接 。 除 了 处 理 数据 和 状态 的 操 
作 ， 每 一 个 组 件 还 会 发 布 (或 声明 ) 一 组 事件 ， 其 他 组 件 也 可 以 注册 事件 。 通 常 ， 当 事件 被 
激活 时 ， 其 他 组 件 会 给 出 执行 的 返回 结果 。 在 组 件 活动 期 间 ， 特 定 的 运行 条 件 会 激活 其 中 一 
个 组 件 发 布 事 件 ， 这 样 就 会 触发 注册 在 事件 上 的 调用 返回 开始 执行 。 事 件 的 激活 可 能 伴随 着 
用 于 在 调用 返回 中 处 理事 件 的 上 下 文 信息 。 这 个 信息 可 以 作为 调用 返回 的 形 参 传递 ， 或 者 使 
用 一 些 组 件 间 的 共享 库 来 传递 。 基 于 事件 的 系统 已 经 非常 流行 ，API 层 和 编程 语言 层 都 支 
持 该 系统 的 实现 。 此 架构 模式 的 主要 优势 是 促进 了 开放 系统 的 发 展 : 可 以 增加 新 模块 ， 并 易 
于 将 新 模块 集成 到 系统 中 ， 只 要 这 些 模块 具有 事件 注册 的 兼容 接口 。 该 架构 解决 了 自 上 而 下 
和 面 回 对 象 结构 的 部 分 局 限 问题 。 首 先 ， 调 用 模式 是 隐 式 的 ， 调 用 与 被 调用 之 间 的 联系 不 是 
便 编 码 ， 这 就 提供 了 很 大 的 灵活 性 ， 可 以 在 不 改变 应 用 程序 源码 的 情况 下 添加 或 移 除 事 件 的 
处 理 程序 。 其 次 ， 事 件 源 无 需 知道 调用 返回 的 事件 处 理 程 序 。 该 架构 的 缺点 是 对 系统 计算 缺 
乏 控制 。 当 一 个 组 件 触发 一 个 事件 时 ， 并 不 知道 有 多 少 事件 处 理 程 序 将 被 调用 ， 以 及 是 否 有 
任何 注册 过 的 处 理 程序 ， 只 有 在 运行 时 才 可 能 知道 上 述 信 息 。 从 静态 设计 的 观点 来 看 ， 明 确 
组 件 间 的 联系 以 及 交互 的 正确 性 推理 变 得 更 为 复杂 。 

本 证 介 绍 了 最 常见 的 软件 架构 模式 ， 用 于 系统 组 件 的 逻辑 结构 建 模 。 本 节 只 描述 了 部 分 
架构 模式 ， 其 他 模式 参见 文献 [105] 。 


O 唯一 的 操作 就 是 将 层 划分 成 子 层 ， 这 样 外 部 接口 不 变 ， 而 内 部 框架 被 重组 为 定义 不 同 抽象 级 别 的 不 同 层 。 从 
相 邻 层 观 点 看 ， 新 的 重组 层 始终 是 一 个 单独 的 块 。 

O 对 等 模式 和 客户 端 / 服 务 器 模式 这 两 个 术语 将 在 下 一 节 详细 介绍 。 

© 观察 者 模式 [106] 是 软件 设计 的 基本 元 素 ， 其 中 编程 语言 (如 C#、VB.NE T) 和 其 他 实现 通用 语言 架构 的 语 
言 [53] 将 事件 语言 结构 转换 为 隐 式 调用 模式 。 
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3. 系统 架构 模式 

系统 架构 模式 包括 组 件 的 物理 组 织 结 构 以 及 分 布 式 基础 设施 上 的 进程 。 系 统 架 构 模 式 为 
系统 的 部 署 提 供 了 一 组 参考 模型 ， 这 不 仅 使 工程 师 们 有 了 摘 述 系统 物理 布局 的 通用 词汇 ， 而 
且 可 以 帮助 他 们 快速 识别 给 定 部 署 的 主要 优 缺 点 ， 以 及 系统 部 署 是 否 适 用 于 特定 种 类 的 应 用 
程序 。 在 本 节 中 ， 我 们 介绍 两 个 基本 的 参考 模式 : 客户 端 /服务 器 模式 和 对 等 模式 。 

(1) 客户 端 / 服 务 器 

在 分 布 式 计算 中 客户 端 /服务 需 模式 十 分 流行 ， 适 用 于 多 种 应 用 程序 。 如 图 2-12 所 示 ， 
客户 疹 / 服 务 需 模式 的 主要 组 成 部 分 是 服务 器 和 客户 端 。 这 两 个 组 件 通过 使 用 特定 协议 的 网 
络 进行 连接 和 交互 。 通 信 是 单 向 的 : 客户 端 向 服务 器 发 出 请 求 ， 服 务 器 在 处 理 请 求 之 后 返回 
响应 结果 。 可 以 是 多 个 客户 端 组 件 向 一 个 处 于 被 动 等 待 状态 的 服务 器 发 送 请 求 。 因 此 ， 客 户 
端 / 服务 器 模式 的 主要 操作 包括 : 请 求 和 接受 (客户 端 )， 监 听 和 响应 (服务 器 端 )。 







Me | a 
(经 典 模型 ) | a 


图 2-12 ”客户 端 /服务 器 模式 


客户 端 /服务 器 模型 适用 于 多 对 一 的 情形 ， 其 中 ， 信 息 和 感 兴趣 的 服务 可 以 集中 后 通过 
单一 的 接 人 点 〈 服 务 器 ) 被 访问 。 通 常会 有 多 个 客户 需要 该 服务 ， 所 以 必须 对 服务 器 进行 运 
当地 设计 以 便 有 效 地 处 理 来 自 不 同 客户 的 请 求 。 应 用 中 需要 同时 考虑 客户 端 和 服务 器 的 需求 
设计 。 对 于 客户 端 设计 ， 我 们 给 出 两 个 主要 的 模型 : 
o 疲 客 户 端 模型 。 在 此 模型 中 ， 数 据 的 处 理 和 转换 任务 放 在 了 服务 器 端 ， 客 户 疹 轻 量 
处 理 ， 即 主要 关注 所 需 数据 的 检索 和 返回 ， 不 需 更 进一步 的 处 理 。 
o 胖 客 户 端 模型 。 在 此 模型 中 ， 客 户 端 组 件 负 责 在 数据 返回 用 户 之 前 对 其 进行 处 理 和 
转化 ， 而 服务 器 有 着 相对 轻 量 的 执行 ， 主 要 管理 数据 访问 。 
客户 端 / 服务 器 模型 包括 三 部 分 ， 显 示 、 应 用 逻辑 和 数据 存储 。 在 瘦 客 户 端 模型 中 ， 客 
户 端 只 具有 显示 功能 ， 而 服务 器 负责 应 用 修 辑 和 数据 存储 。 在 胖 客户 端 模型 中 ， 客 户 端 封 法 
了 显示 功能 和 应 用 逻辑 ， 而 服务 器 主要 负责 数据 存储 和 维护 。 
显示 、 应 用 逻辑 和 数据 维护 可 以 看 作 概念 层 (layer)， 称 为 层 (tier) 更 加 合适 。 按照 概 


49 | 


34 


BY Æ a 


念 层 及 其 在 模块 和 组 件 的 物理 实现 之 间 的 映射 关系 ,客户 端 /服务 右 模 式 可 分 成 几 种 类 型 的 
多 层 架 构 。 其 中 两 种 主要 类 型 如 下 : 


两 层 结 构 。 此 架构 将 系统 分 为 两 层 : 客户 端 和 服务 器 端 。 客 户 端 提供 用 户 接 口 ， 主 要 
处 理 显示 层 的 所 有 功能 ; 服务 器 负责 应 用 人 逻辑 和 数据 存储 层 功 能 。 服 务 器 组 件 通 篆 
部 署 在 高 性 能 主机 上 ， 用 于 处 理 用户 请 求 、 数 据 访问 和 执行 应 用 逻辑 ， 对 客户 端 进 
行 响应 。 该 结构 适用 于 规模 不 大 且 受 可 扩展 性 困扰 的 系统 。 尤 其 是 随 着 用 户 数量 的 
增加 ， 服 务 器 的 性 能 可 能 会 显著 下 降 。 另 一 个 限制 是 与 数据 相关 的 维护 、 管 理 和 访 
问 等 问题 ， 单 个 计算 节点 难以 处 理 大 规模 数据 ， 以 提供 满足 应 用 需求 的 高 性 能 服务 。 
三 层 结 构 /V 层 结构 。 三 层 绪 构 将 数据 显示 、 应 用 逻辑 和 数据 存储 分 为 三 个 层次 。 如 
果 需 要 进一步 区 分 应 用 逻辑 和 存储 层 ， 可 将 三 层 结构 扩展 为 W 层 模型 ， 此 模型 一 般 
情况 下 比 两 层 模型 扩展 性 好 ， 因 为 它 可 以 把 各 层 功能 分 布 到 多 个 计算 节点 ， 以 便 降 
低 性 能 瓶颈 。 但 是 ， 理 解 和 管理 这 些 系 统 比较 复杂 。 一 个 经 典 的 三 层 结构 实例 是 由 
关系 型 数据 库 管 理 系 统 存储 数据 的 中 等 规模 Web 应 用 。 在 这 种 情况 下 : BP since oe 
人 表示 层 的 网 络 浏览 器 ; 应 用 服务 器 封装 了 业务 逻辑 层 ， 实 现 具体 业务 ; 数据 库 服 
务 器 ( 双 机 备份 以 提供 高 可 用 性 ) 完成 数据 存储 、 维 护 和 管理 。 依 赖 第 三 方 (或 外 部 ) 
服务 来 满足 客户 需求 的 应 用 服务 器 是 N 层 结构 的 例子 。 


客户 端 / 服 务 器 架构 已 经 成 为 设计 和 部 署 分 布 式 系 统 的 主流 参考 模型 ， 基 于 该 参考 模型 
的 应 用 实例 很 多 ， 最 常见 的 是 源 于 其 原始 概念 的 Web 应用。 如今 ， 客 户 端 /服务 器 模型 是 
复杂 系统 的 重要 架构 ， 通 过 服务 器 以 及 网 络 交互 的 客户 端 进程 来 实现 业务 功能 。 此 模型 通常 
适用 于 多 对 一 的 情形 ， 其 中 的 交互 是 单 向 的 ， 由 客户 端 发 起 。 然 而 ， 该 模型 存在 可 扩展 性 问 
题 ， 因 此 不 适用 于 大 型 系统 。 

(2) 对 等 

对 等 模型 ( 见 图 2-13) 是 一 种 对 称 的 架构 ， 模 型 中 所 有 组 件 都 称 为 对 等 点 ， 具 有 相同 的 


功能 ， 


包含 了 客户 端 / 服 务 器 模型 中 的 客户 端 与 服务 器 的 功能 。 更 准确 地 说 ， 某 一 对 等 点 可 


作为 服务 器 处 理 从 其 他 对 等 点 发 来 的 请 求 ， 而 这 个 对 等 点 又 可 作为 客户 端 向 其 他 对 等 点 发 出 


请 求 。 


与 区 分 客户 端 和 服务 器 IPC 职责 的 客户 端 /服务 器 模型 相 比 ， 对 等 模型 赋予 每 一 个 组 


件 同样 的 职责 。 因 此 ， 对 等 模型 适用 于 高 分 布 性 架构 ， 并 可 以 增加 节点 数目 以 提高 扩展 性 。 


对 等 模型 的 缺点 是 算法 的 执行 管理 比 客户 端 / 服务 器 模型 复杂 。 





图 2-13 ”对 等 架构 模型 
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与 对 等 系统 [87] 最 为 相关 的 例子 是 文件 共享 应 用 ， 如 Gnutella, BitTorrent 和 Kazaa. 
除了 区 点 间 通 信 网 络 、 文 件 共享 信息 及 网 络 位 置 不 同 之 外 ， 这 些 系统 都 提供 了 一 个 客户 端 ， 
该 客户 靖 同 时 也 是 服务 器 端 ， 在 为 其 他 对 等 点 提供 文件 时 是 服务 器 ， 而 在 从 其 他 对 等 点 下 载 
文件 时 是 客户 端 。 为 了 处 理 大 量 的 对 等 点 ,设计 了 不 同 的 文件 共享 架构 ， 并 目 与 对 等 模型 有 
些许 差别 。 例 如 ， 在 Kazaa 中 ,不 是 所 有 的 对 等 点 都 起 到 相同 的 作用 ， 有 的 对 等 点 用 于 收集 
一 组 对 等 点 的 辅助 功能 信息 。 关 于 对 等 模型 的 另 一 个 值得 关注 的 例子 是 Skype 网 络 。 

本 市 介 绍 的 系统 架构 模式 是 一 个 参考 模型 ， 可 根据 设计 和 实施 应 用 的 特定 需求 进一步 加 
强 和 多 样 化 。 比 如 ， 客 户 端 /服务 器 架构 起 初 只 包含 两 种 类 型 的 组 件 ， 随 着 系统 复杂 性 的 增 
加 ， 设 计 了 多 层 架 构 将 其 进一步 扩展 和 丰富 。 目 前 ， 该 模型 仍然 是 分 布 式 系统 和 应 用 的 主 
流 参 考 架 构 。 服 务 器 和 客户 端 抽象 可 用 于 大 型 和 小 型 系统 建 模 。 单 纯 对 等 系统 的 实例 非常 罕 
几 ， 和 常见 的 是 对 等 系统 的 演化 模型 ， 如 Kazaa 在 对 等 节点 之 间 增 加 了 层次 结构 。 


2.4.4 ”进程 间 通 信和 模型 


分 布 式 系 统 由 一 组 通过 网 络 连接 的 、 交 互 的 并 发 进程 组 成 。 因 此 ， 进 程 间 通 信 ( IPC) 
是 分 布 式 系统 设计 和 实现 的 基础 。IPC 既 用 于 交换 数据 和 信息 ， 也 用 于 协调 进程 活动 。IPC 
将 分 布 式 系统 的 不 同 组 件 连 接 起 来 ， 使 其 成 为 一 个 系统 。 进 程 之 间 交 互 的 模型 有 多 种 ， 分 别 
对 应 着 IPC 的 不 同 抽 象 。 其 中 最 第 见 的 包括 共享 存储 、 远 程 过 程 调 用 (RPC) 和 消息 传递 。 
THRE, IPC 由 网 络 编程 工具 实现 。 套 接 字 (socket) 是 最 常用 的 在 分 布 式 进 程 间 实现 通信 信 
道 的 IPC 原 语 。 套 接 字 基于 请 求 - 应答 通 信 模 型 ， 在 较 低 层次 上 模拟 客户 端 /服务 器 的 抽 
象 交 互 模式 ， 使 交互 模式 更 加 便捷 。 套 接 字 提 供 了 基本 的 传输 字 节 序列 的 能 力 ， 这 些 字 节 序 
列 在 更 高 层 上 被 转化 为 更 有 意义 的 数据 (如 进程 参数 、 返 回 值 或 消息 )。 如 此 强大 的 抽象 使 
得 系统 工程 师 只 需要 处 理 逻 辑 协 同 的 分 布 式 组 件 及 其 交换 的 信息 ， 而 不 需要 知道 网 络 细节 。 
这 两 个 元 素 定 义 了 IPC 模型 。 本 节 介 绍 进 程 间 通信 架构 的 主要 参考 模型 。 
1. 基于 消息 的 通信 
消息 在 实现 分 布 式 计算 的 技术 和 模型 演进 过 程 中 发 挥 了 重要 作用 。Couloris 等 [2] 将 分 
布 式 系统 定义 为 “联网 计算 机 上 的 组 件 仅 通过 传递 消息 进行 沟通 和 协调 组 件 活动 的 系统 ”。 
消息 在 这 里 指 任何 从 一 个 实体 传递 到 另 一 个 实体 的 信息 离散 量 。 它 包含 任意 形式 的 数据 表 
示 ， 数据 有 大 小 和 时 间 限 制 ， 是 对 远程 过 程 、 序 列 化 的 对 象 实例 或 通用 消息 的 调用 返回 的 结 
果 。 因此， 基于 消息 的 通信 模型 可 以 用 来 指 代 本 节 讨 论 的 任何 IPC 模型 ， 并 且 不 必 依 赖 数据 
流 的 抽象 。 
一 些 分 布 式 编程 范式 使 用 基于 消息 的 通信 ， 而 不 是 呈现 给 开发 者 的 用 于 实现 分 布 式 组 件 
交互 的 编程 模型 。 下 面 是 一 些 主要 编程 模型 : 
o 消息 传递 。 此 范式 用 消息 的 概念 作为 模型 的 主要 抽象 。 实 体 交 换 信息 ， 以 消息 的 形 
式 对 被 交换 的 数据 进行 编码 。 不 同 的 模型 ， 其 结构 和 消息 的 内 容 有 所 不 同 。 该 模型 
的 例子 包括 消息 传递 接口 (MPI) 和 OpenMP。 
o 远程 过 程 调用 (RPC)。 此 范式 在 单一 进程 以 外 扩展 了 过 程 调 用 的 概念 ， 由 此 触发 代 
码 在 远程 进程 中 的 执行 。 在 这 种 情况 下 ，RPC 也 称 为 客户 端 / 服 务 器 模式 。 一 个 远程 
进程 承载 一 个 服务 器 组 件 ， 人 允许 客户 进程 请 求 方法 调用 ， 并 返回 执行 结果 。 由 执行 
RPC 自动 生成 的 消息 来 传递 过 程 执行 所 需 参 数 以 及 返回 值 。 这 样 ， 消 息 也 可 以 指 被 
封 送 的 参数 和 返回 值 。 
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e 分 布 式 对 象 。 这 是 RPC 模型 基于 面向 对 象 范式 的 实现 ， 将 方法 的 远程 调用 看 作对 象 。 
每 个 进程 都 包括 一 组 可 远程 访问 的 接口 。 客 户 进程 可 以 请 求 指 向 这 些 接口 的 指针 ， 
并 可 以 通过 接口 调用 方法 。 底 层 的 运行 架构 负责 将 本 地 方法 调用 转化 为 对 远程 进程 
的 请 求 ， 并 收集 执行 结果 。 通 过 消息 实现 调用 者 和 远程 进程 的 通信 。 相 对 于 无 状态 
信息 的 RPC 模型 ， 分 布 式 对 象 模 型 引入 了 复杂 的 对 象 状 态 管理 和 生命 周期 管理 。 远 
程 执行 的 方法 以 实例 的 形式 进行 操作 ， 该 实例 是 为 了 这 个 方法 的 单独 执行 而 创建 的 ， 
具有 有 限 的 生命 周期 ， 并 独立 于 请 求 。 分 布 式 对 象 架构 的 例子 包括 ， 通 用 对 象 请 求 
代理 架构 (CORBA)、 组 件 对 象 模 型 (COM, DCOM 和 COM+), Java 远程 方法 调用 
(RMI) 和 远程 .NET。 
© 分 布 式 代理 和 活动 对 象 。 基 于 代理 和 活动 对 象 的 编程 范式 涉及 对 实例 的 定义 ,不 管 
它们 是 否 是 对 象 代理 ， 也 不 考虑 是 否 有 请 求 。 这 意味 着 对 象 有 其 上 自己 的 控制 线程 来 
执行 动作 。 这 些 模型 常 显 式 地 利用 消息 来 触发 方法 的 执行 ， 并 且 这 些 消 息 附带 着 复 
杂 的 语义 。 
© Web 服务 。 Web 服务 技术 是 RPC 概念 在 HTTP 上 的 实现 ， 允许 由 不 同 技术 开发 的 组 
件 进行 交互 。Web 服务 作为 Web 服务 器 上 的 一 个 远程 对 象 ， 在 HTTP 请 求 时 被 转化 
为 方法 调用 ,使 用 特定 的 协议 进行 封装 ， 如 简单 对 象 访问 协议 ( SOAP) 或 表征 状态 
转移 协议 (REST). 
消息 的 概念 是 IPC 的 基本 抽象 ， 它 既 被 显 式 又 被 隐 式 地 使 用 。 在 任何 所 讨论 的 例子 中 ， 
消息 的 主要 作用 是 定义 分 布 式 组 件 的 交互 协议 ， 以 便 协 调 活动 和 交换 数据 。 
2. 基于 消息 的 通信 模型 
我 们 已 经 了 解 了 基于 消息 的 通信 是 多 种 分 布 式 编程 范式 的 基础 。 另 一 个 分 布 式 组 件 交 互 
的 特征 是 信息 交换 的 方法 ， 以 及 在 多 少 个 组 件 中 进行 交互 。 多 数 情况 下 ， 客 户 端 /服务 器 模 
式 可 作为 这 种 交互 的 相关 参考 模型 。 严 格 来 讲 ， 人 允许 用 多 对 一 的 交互 模式 来 表示 点 到 点 通信 
模型 。 客 户 端 /服务 器 模型 的 演变 产生 了 不 同 的 交互 模式 。 本 节 简 要 介绍 重要 的 并 反复 出 现 
的 一 些 交 互 模型 。 
(1) 点 对 点 消息 模型 
此 模型 在 单一 的 组 件 中 进行 通信 。 每 一 个 消息 从 一 个 组 件 传 送 到 另 一 个 组 件 ， 且 有 一 个 
直接 寻 址 来 标识 消息 接收 者 。 在 点 对 点 通信 模型 中 ， 必 须知 道 系 统 中 的 另 一 个 组 件 的 位 置 或 
如 何 获取 其 地 址 。 模 型 中 没有 分 发 消息 的 中 心 设备 ， 且 通信 是 由 消息 发 送 者 发 起 的 。 模 型 包 
括 两 个 主要 子 类 : 直接 通信 和 基于 队列 的 通信 。 直 接 通信 中 ， 消 息 直 接 发 送 到 接收 设备 上 ， 
一 旦 接收 就 立即 处 理 。 基 于 队列 的 通信 中 ， 接 收 设 备 维护 一 个 消息 队列 ， 接 收 的 消息 存放 在 
消息 队列 中 ， 以 便 后 续 处 理 。 点 对 点 消息 模型 用 于 实现 一 对 一 或 多 对 一 通信 的 系统 。 
(2) 发 布 和 订阅 消息 模型 
此 模型 包含 基于 组 件 间 通知 的 不 同 策略 。 模 型 有 两 个 主要 角色 : 发 布 者 和 订阅 者 。 发 布 
者 为 订阅 者 提供 工具 ， 让 订阅 者 注册 某 个 感 兴趣 的 主题 或 事件 。 适 用 于 发 布 方 的 特定 条 件 可 
以 触发 特定 事件 上 的 消息 创建 。 消 息 可 被 所 有 注册 了 相应 事件 的 订阅 者 得 到 。 用 于 给 订阅 者 
分 派 事 件 的 两 大 策略 如 下 : 
e Push 策略。 发 布 者 负责 通告 所 有 的 订阅 者 ， 例 如 方法 调用 。 
se Pull 策略 。 发 布 者 只 需 为 特定 事件 提供 消息 ， 订 阅 者 负责 检查 注册 的 事件 上 是 否 有 消息 。 
发 布 者 - 订阅 者 模型 非常 适合 实现 一 对 多 通信 系统 ， 且 简化 了 间接 通信 模式 的 实现 。 实 
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际 上 ， 对 于 发 布 者 而 言 ， 没 有 必要 为 了 进行 通信 而 获得 订阅 者 的 身份 。 

(3) 请 求 - 应 答 消息 模型 

请 求 -~ 应 答 消息 模型 是 对 于 每 个 由 进程 发 送 的 消息 都 有 应 答 的 通信 模型 。 该 模型 非常 
过 用 ， 它 包括 不 同 的 类 别 ， 与 通信 组 件 的 数量 无 关 ， 只 关注 交互 是 怎样 动态 演变 的 。 点 对 点 
消息 模型 更 倾向 于 以 请 求 - 应 答 模式 进行 交互 ， 尤 其 是 在 直接 通信 的 情况 下 。 发 布 - 订阅 
个 型 不 太 可 能 基于 请 求 - 应 答 模 式 ， 而 是 依赖 于 通知 模式 。 

本 万 摘 述 了 分 布 式 系 统 的 组 件 之 间 通 信 结 构 的 参考 模型 。 一 种 单一 的 模式 通常 难以 满足 一 
个 系统 的 所 有 通信 需求 ， 更 常见 的 情况 是 综合 使 用 各 种 模式 来 设计 和 实现 系统 的 不 同 通信 功能 。 


2.5 分布 式 计算 技术 


在 本 节 中 ， 我 们 将 具体 介绍 实现 交互 模型 的 相关 技术 ， 主 要 是 基于 消息 的 通信 模式 。 它 
们 是 远程 过 程 调 用 (RPC )， 分 布 式 对 象 框 架 和 面向 服务 的 计算 。 


2.5.1 远程 过 程 调 用 


RPC 是 用 以 执行 客户 请 求 过 程 的 基本 方法 。RPC 允许 在 进程 和 单一 内 存 地 址 空间 之 外 
完成 过 程 调 用 。 被 调用 的 过 程 可 以 在 同一 个 系统 上 ， 或 是 在 网 络 内 的 不 同系 统 上 。1976 年 
起 已 经 有 RPC 的 概念 ， 并 在 20 世纪 80 年 代 早 期 由 Nelson[111] 和 Birrell[112] 进行 规范 
化 。 从 那 时 起 ，RPC 的 主要 组 件 一 直 没 有 改变 。 即 使 不 是 一 项 新 技术 ， 如 今 RPC 仍然 是 复 
Ae FSP IPC 的 基本 组 成 部 分 。 

图 2-14 描绘 了 RPC 系统 的 主要 组 件 。 该 系统 基于 客户 端 / 服 务 器 模型 。 服 务 硕 进程 维 
护 所 有 可 被 远程 调用 的 过 程 的 注册 表 ， 并 监听 从 客户 端 发 来 的 请 求 ， 说 明 调 用 哪 一 个 过 程 ， 
以 及 过 程 所 需要 的 参数 值 。RPC 维护 IPC 的 同步 模式 和 函数 调用 。 因 此 ， 正 在 执行 的 线程 
调用 锁定 状态 ， 直 到 在 服务 器 进程 上 的 过 程 执行 完成 ， 并 且 将 结果 (如 果 有 ) 返回 给 客户 端 。 
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封 送 处 理 (marshaling) Æ RPC 的 一 个 重要 方面 ， 封 送 处 理 将 参数 和 返回 值 转换 为 一 种 
更 适合 网 络 传输 的 字 节 流 。 术 语 解 封 (unmarshaling) 指 的 是 与 封 送 相反 的 过 程 。 封 送 和 解 
封 由 RPC 运行 设备 来 执行 ， 客 户 端 和 服务 器 用 户 代码 并 不 需要 执行 这 些 任务 。 另 一 方面 ， 
RPC 运行 时 不 仅 负责 参数 的 打包 和 解 包 ， 而 且 负 责 以 完全 透明 的 方式 处 理 客 户 端 和 服务 天 
进程 之 间 的 请 求 - 应 答 交 互 。 因 此 利用 RPC 开发 系统 IPC 由 以 下 几 步 组 成 : 

o 设计 和 实现 可 被 远程 调用 的 服务 融 过 程 。 

e 在 节点 上 注册 RPC 服务 器 的 远程 过 程 ， 这 些 过 程 将 在 节点 上 可 用 。 

o 设计 和 实现 可 调用 远程 过 程 的 客户 端 程序 。 

每 个 RPC 通常 提供 客户 端 和 服务 器 应 用 程序 接口 ( API), 便 于 使 用 这 种 简单 却 实用 的 
模型 。 考 虑 到 参数 和 返回 值 的 传递 问题 ， 服 务 器 和 客户 端 进程 分 布 在 两 个 独立 的 地 址 空间 
中 ,使 用 由 引用 或 指针 传递 的 参数 不 适合 这 种 情况 ， 因 为 一 旦 解 封 这 些 参 数 ， 将 导致 内 存 位 
置 在 服务 器 进程 中 无 法 访问 。 其 次 ,在 用 户 定义 的 参数 和 返回 值 类 型 中 ， 必 须 确保 RPC 运 
行 时 可 以 封 送 。 这 通常 是 可 行 的 ， 尤 其 是 当 用 户 定义 类 型 是 由 简单 类 型 组 成 时 ， 这 目 然 就 提 
供 了 封 送 处 理 。 

在 相当 长 的 时 间 里 ,RPC 成 为 IPC 中 的 主流 技术 ， 多 种 编程 语言 和 环境 提供 库 和 附加 包 
以 支持 这 种 交互 模式 。 例 如 ，RPyC 是 Python 的 RPC 实现 。 同 时 也 存在 与 平台 无 关 的 解决 
方案 ， 如 XML-RPC 和 JSON-RPC， 分 别 在 XML 和 JSON 上 提供 了 RPC 功能 。Thrift[113] 
是 Facebook 开发 的 框架 ， 用 于 透明 的 路 语言 RPC 模型 。 目 前 ， 术 语 RPC 的 实现 涵盖 了 多 
种 包含 框架 的 解决 方案 ， 如 分 布 式 对 象 编程 (CORBA, DCOM, Java RMI 和 远程 .NET) 以 
及 从 最 初 的 RPC 概念 演变 而 来 的 Web 服务 ， 后 续 将 讨论 这 些 方法 的 特点 . 


2.5.2 分布 式 对 和 象 框架 


分 布 式 对 象 框架 扩展 了 面向 对 象 的 编程 系统 ， 人 允许 对 象 分 布 在 异 构 的 网 络 中 ， 框 架 的 便 
捷 性 使 其 如 同 在 同一 地 址 空间 内 一 样 。 分 布 式 对 象 框 架 利 用 RPC 的 基本 机 制 ， 并 对 其 进行 
扩展 以 实现 对 象 方法 的 远程 调用 ， 以 及 通过 网 络 连接 跟踪 可 访问 对 象 的 引用 - 

相对 于 RPC 模型 ， 分 布 式 对 象 模型 中 的 管理 实例 采用 接口 而 不 是 过 程 来 展现 。 因 此 ， 
常见 的 交互 模式 如 下 : 

o 服务 器 进程 维护 活动 对 象 注册 表 ， 其 他 进程 可 使 用 这 些 对 象 。 可 以 通过 接口 或 类 来 

定义 活动 对 象 。 

e 通过 使 用 给 定 的 寻 址 方案 ， 客 户 端 进程 获取 远程 活动 对 象 的 引用 。 此 引用 由 指向 共 

享 接口 和 类 定义 实例 的 指针 表示 。 
e 客户 端 进程 通过 已 获取 的 引用 来 调用 活动 对 象 上 的 方法 。 参 数 和 返回 值 进行 封 送 处 
理 ， 正 如 在 RPC 中 一 样 。 

分 布 式 对 象 框架 描述 了 在 调用 远程 方法 时 如 何 与 本 地 实例 交互 。 这 是 通过 代理 骨架 
(proxy skeleton) 的 机 制 实现 的 。 图 2-15 概述 了 此 机 制 的 工作 原理 。 代 理 和 骨架 总 是 成 对 出 
现 : 服务 器 进程 维护 骨架 的 组 件 ， 负 责 远 程 方 法 调用 的 执行 ; 而 客户 端 维 护 代 理 组件 ， 通 过 
代理 接口 远程 调用 方法 。 通 过 使 用 面向 对 象 编程 的 继承 和 子 类 ， 远 程 方 法 调用 的 透明 性 得 以 
实现 。 代 理 和 远程 活动 对 象 具有 相同 的 接口 ， 该 接口 定义 了 可 被 远程 调用 的 方法 集 。 客 户 端 
生成 了 服务 器 发 布 的 类 型 的 子 类 对 象 ， 该 对 象 将 本 地 方法 调用 转化 成 一 个 远程 活动 对 象 上 的 
对 应 方法 的 RPC 调用 。 在 服务 器 端 ， 无 论 何 时 接收 到 一 个 RPC 请 求 ， 先 打开 请 求 包 ， 然 后 
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将 方法 调用 分 发 给 发 出 请 求 客户 端的 骨架 。 一 旦 服务 器 端的 方法 执行 完成 ， 返 回 值 将 被 打包 
并 发 送 回 客户 端 ， 并 且 本 地 方法 调用 返回 给 代理 。 
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图 2-15 分布 式 对 象 编 程 模型 


分 布 式 对 象 框架 将 对 象 作 为 IPC 的 第 一 类 实体 。 对 象 是 调用 远程 方法 的 主要 途径 ， 同 
时 也 可 作为 参数 和 返回 值 传递 。 这 样 就 需要 注意 一 个 问题 。 由 于 对 象 实例 是 复杂 的 实例 ， 封 
装 了 一 个 状态 并 可 能 被 其 他 组 件 引用 ， 因 此 将 对 象 作 为 参数 或 返回 值 传递 时 ， 会 在 另 一 执行 
环境 中 创建 该 对 象 实例 的 副本 ， 产 生 两 个 状态 无 关 的 对 象 ” 。 而 实例 复制 是 必要 的 ， 因 为 实 
例 需 要 改变 进程 的 边界 。 在 设计 分 布 式 对 象 系统 时 ， 这 是 需要 考虑 的 重要 方面 ， 因 为 变更 进 
得 边界 可 能 会 导致 不 一 致 。 可 将 按 值 封 送 这 个 标准 进程 替代 为 按 引 用 来 封 送 s 。 另 外 一 种 情 
况 是 不 复制 对 象 实例 ， 在 服务 器 端 (对 参数 ) 或 在 客户 端 (对 返回 值 ) 创建 对 象 实例 的 代理 。 
按 引 用 封 送 是 更 为 复杂 的 技术 ， 通 常会 增加 运行 时 基础 设施 的 负担 ， 因 为 远程 引用 需要 被 跟 
踪 。 由 于 更 加 复杂 且 对 资源 的 要 求 较 高 ， 只 有 在 参数 和 返回 值 的 复制 会 导致 系统 出 现 意外 且 
不 一 致 的 行为 时 ， 才 会 使 用 按 引 用 封 送 方法 。 

1. 对 象 激 活 和 生命 周期 

在 远程 节点 上 过 程 的 简单 调用 方面 ， 分 布 式 对 象 管理 带 来 了 额外 的 挑战 。 方 法 存在 于 对 
象 实例 的 进程 内 ， 并 且 方 法 的 执行 可 以 改变 对 象 的 内 部 状态 。 尤 其 是 对 象 实例 的 生命 周期 是 
分 布 式 面向 对 象 系统 中 的 关键 元 素 。 在 单一 内 存 地 址 空间 的 情况 下 ， 对 象 由 程序 员 创 建 ， 对 
象 的 引用 通过 对 象 从 一 个 对 象 实例 传递 到 另 一 个 对 象 实例 来 实现 。 分 配给 对 象 的 内 存 空 间 可 
以 被 程序 员 收 回 ， 或 者 当 不 再 引用 该 实例 时 自动 地 被 运行 时 系统 收回 。 分 布 式 情形 带 来 了 额 
外 的 问题 ， 即 对 于 通过 远程 接口 提供 的 对 象 ， 需 要 采取 不 同 的 生命 周期 管理 方式 。 

首先 要 考虑 的 因素 是 对 象 的 激活 ， 即 如 何 创建 远程 对 象 的 过 程 。 有 两 种 不 同 的 对 象 激活 
方法 : 基于 服务 器 的 激活 和 基于 客户 端的 激活 。 基 于 服务 器 激活 方式 的 活动 对 象 在 服务 器 进 
程 中 创建 ， 被 注册 为 一 个 超出 进程 边界 的 实例 。 在 这 种 情况 下 ， 活 动 对 象 有 其 生命 周期 ， 偶 


O 重新 创建 一 个 和 对 象 一 样 的 副本 向 外 传递 的 方式 称 为 按 值 封 送 (marshaling by value)。 一 一 译 者 注 
© 按 引用 封 送 (marshaling by reference) 指 当 参 数 和 返回 值 是 其 他 数据 的 引用 类 型 (如 指针 类 型 等 ) 时 ， 只 传递 
这 此 数据 是 不 够 的 。 要 使 接收 方 能 够 处 理 ， 还 需要 将 引用 地 址 数据 传递 过 去 。 一 一 译 者 广 
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尔 会 执行 方法 ， 并 将 其 作为 远程 方法 调用 的 结果 。 在 基于 客户 端的 激活 方式 中 ， 活 动 对 象 在 


”服务 器 端 起 初 是 不 存在 的 ， 当 有 来 自 客户 端的 方法 调用 请 求 时 才 创 建 活动 对 象 。 客 户 端 的 激 


活 方式 通常 更 适用 于 活动 对 象 是 无 状态 的 ， 以 及 从 远程 客户 端 调用 方法 时 才 创 建 活动 对 象 的 
场景 。 例 如 ， 如 果 远 程 对 象 仅仅 是 访问 和 修改 服务 器 进程 中 的 其 他 组 件 的 一 个 人 人口， 那么 基 
于 客户 端的 激活 方式 是 更 有 效 的 模式 。 

其 次 要 考虑 的 因素 是 远程 对 象 的 生命 周期 。 基 于 服务 器 激活 方式 中 ， 对 象 的 生命 周期 通 
常 由 用 户 决定 ， 因 为 远程 对 象 创建 过 程 明 确 地 由 用 户 控 制 。 在 基于 客户 端 激 活 方 式 中 ， 远 程 
对 象 的 创建 是 隐 含 的 ， 因 此 其 生命 周期 由 运行 时 基础 设施 的 某 些 策略 来 控制 。 可 以 考虑 不 同 
的 策略 : 最 简单 的 是 为 每 个 方法 调用 都 创建 一 个 新 的 实例 。 这 种 方法 对 对 象 实例 要 求 较 高 ， 
通常 将 结合 一 些 契 约 管理 策略 ， 这 些 策 略 允 许 对 象 在 特定 的 时 间 间 隔 (契约 ) 内 重复 用 于 后 
续 方 法 调用 。 另 一 项 策略 是 ， 可 以 考虑 一 次 只 有 一 个 实例 ， 则 对 象 的 生命 周期 由 方法 调用 的 
次 数 和 频率 控制 。 对 此 ， 不 同 框架 可 提供 不 同 的 控制 等 级 。 

目前 在 一 定 程度 上 ， 对 象 激活 和 生命 周期 管理 是 支持 几乎 所 有 分 布 式 对 象 编程 框架 的 两 
大 特征 ， 因 为 它们 是 理解 分 布 式 系统 行为 的 关键 。 尤 其 是 这 两 个 方面 是 设计 可 被 其 他 进程 
访问 和 维护 状态 的 组 件 的 基础 。 理 解 创建 了 多 少 个 代表 同一 个 组 件 的 对 象 以 及 对 象 的 生命 周 
期 ， 是 跟踪 由 实例 内 部 数据 的 错误 更 新 造成 的 不 一 致 的 关键 . 

2. 分 布 式 对 象 框架 实例 

支持 分 布 式 对 象 编程 的 语言 随 着 时 间 在 演变 ， 现 在 分 布 式 对 象 编程 是 主流 编程 语言 的 一 
个 共同 特征 ， 如 C# 和 Java 将 此 功能 作为 基 类 库 的 一 部 分 。 这 种 集成 标志 着 分 布 式 对 象 编程 
技术 的 成 熟 ， 该 技术 最 初 被 设计 为 可 以 在 几 种 编程 语言 中 使 用 的 一 个 独立 的 组 件 。 本 节 简 要 
地 回顾 了 与 分 布 式 对 象 编程 最 为 相关 的 方法 和 技术 。 

(1) 公共 对 象 请 求 代 理 架 构 (CORBA) 

CORBA 是 由 对 象 管理 组 织 (OMG) 提出 的 规范 ， 用 于 在 分 布 式 组 件 中 提供 跨 平台 和 跨 
语言 的 互 操 作 能 力 。 最 初 设 计 此 规范 的 目的 是 提供 有 效 的 工业 级 的 互 操 作 标准 。CORBA 规 
范 的 当前 版 本 为 3.0 版 ， 目 前 该 技术 还 不 是 很 流行 ， 主 要 是 因为 开发 过 程 相 当 复 杂 ， 且 不 同 
语言 开发 的 组 件 之 间 的 互 操作 尚未 达到 所 提出 的 透明 性 级 别 。CORBA 架构 中 的 一 个 基本 组 
件 是 对 象 请 求 代理 ( ORB)， 其 作用 相当 于 中 央 对 象 总 线 。CORBA 对 象 注册 到 公布 的 ORB 
接口 ， 客 户 端 可 以 获取 该 接口 的 引用 ， 并 调用 接口 上 的 方法 。ORB 负责 将 引用 返回 给 客户 
端 ， 管 理 所 有 低层 操作 以 执行 远程 方法 调用 。 为 了 简化 跨 平 台 的 互 操作 ， 接 口 由 接口 定义 语 
言 (IDL) 定义 ， 此 语言 提供 了 平台 无 关 的 组 件 规范 。 特 定 CORBA 编译 器 将 IDL 规范 转换 
成 存根 - 骨架 (stub-skeleton)， 编 译 器 在 特定 的 编程 语言 中 生成 所 需 的 客户 端 (stub) ALAR 
Får (skeleton) 组 件 。 某 些 编程 语言 实施 了 这 些 模 板 ， 这 使 得 CORBA 组 件 仅 需要 简单 地 使 
用 与 开发 语言 匹配 的 客户 端 和 服务 器 ， 就 可 以 在 不 同 的 运行 时 环境 中 使 用 。 规 范 意味 着 要 符 
合 工业 标准 ，CORBA 提供 了 在 其 运行 时 的 不 同 实现 方法 之 间 的 互 操作 性 。 特 别 地 ， 在 最 底 
层 ORB 实现 相互 通信 使 用 的 是 因特网 ORB 间 协 议 (IIOP)， 这 个 协议 标准 化 了 不 同 ORB 实 
现 之 间 的 交互 。 此 外 ，CORBA 提供 了 额外 的 抽象 和 独立 ORB， 能 利用 便携 式 对 象 适 配器 
(POA) 在 网 络 节 点 间 移 动 ，POA 是 部 署 和 管理 服务 器 的 运行 时 环境 。 这 两 层 的 接口 定义 清 
晰 ， 这 样 就 提供 了 更 大 的 灵活 性 ， 并 允许 不 同 实现 方法 一 起 无 缝 地 运作 。 

(2) 分 布 式 组 件 对 象 模型 (DCOM/COM+) 

DCOM 后 期 被 整合 并 演变 为 COM+， 是 引入 .NET 技术 之 前 ， 微 软 为 分 布 式 对 象 编程 
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提供 的 解决 方案 。 DCOM 的 特征 是 允许 在 进程 边界 之 外 使 用 COM 组 件 。 一 个 COM 对 象 
你 识 一 个 组 件 ， 该 组 件 封装 了 一 组 连贯 目 雪 关 的 操作 ， 利 用 COM 对 象 的 接口 特征 可 轻易 
地 舱 入 男 一 个 应 用 程序 中 。 为 了 支持 互 操作 性 ，COM 采用 二 进 制 格式 ， 可 在 不 同 的 编程 语 
APEH COM 对 象 。 通 过 添加 所 需 的 IPC 支持 ，DCOM 在 分 布 式 环境 中 实现 了 这 些 功能 。 
DCOM 的 构架 与 CORBA 十 分 相似 ,但 更 加 简化 ， 因 为 DCOM 的 目的 并 不 是 为 了 促进 同一 
级 别 的 互 操 作 。DCOM 架构 的 实现 由 微软 垄断 ， 提 供 单 一 的 运行 时 环境 。 一 个 DCOM 服务 
从 对 辊 中 以 公布 多 个 接口 ， 每 一 个 接口 都 代表 着 对 象 的 一 种 不 同行 为 。 为 了 调用 由 接口 公布 
的 方法 ， 客户 端 包含 一 个 指 问 该 接口 的 指针 ， 在 使 用 这 个 指针 时 ， 将 其 看 作 一 个 指向 客户 端 
地 址 空间 内 的 某 个 对 象 的 指针 。DCOM 运行 时 负责 执行 该 指针 所 需 的 所 有 操作 。 该 技术 在 
基于 化 软 的 环境 中 提供 了 适当 的 互 操 作 性 ， 并 且 存 在 第 三 方 实 现 ， 使 得 DCOM 即使 在 基于 
UNIX 的 环境 中 也 可 以 使 用 。 目 前 ， 即 使 DCOM 仍然 在 行业 中 使 用 ， 但 该 技术 已 经 不 再 流 

并 且 已 经 被 其 他 方法 所 取代 ， 比 如 远程 .NET 和 Web 服务 。 

(3) Java 远程 方法 调用 (RMI) 

Java RMI 是 由 Java 提供 的 标准 技术 ， 用 于 在 分 布 式 Java 对 象 中 实现 RPC。RMI 定义 
厂 对 象 上 方法 调用 的 基础 设施 ， 其 中 对 象 位 于 不 同 的 Java 虚拟 机 (JVM) 上 ， 这 些 虚 拟 机 
部 署 在 本 地 节点 或 远程 节点 上 。 与 CORBA 相同 ，RMI 基于 存根 - 骨架 概念 。 开 发 者 定义 
了 一 个 接口 ,扩展 了 定义 IPC MAM javarmi.Remote, Java 允许 只 发 布 接口 ， 同 时 它 依赖 
于 服务 冀 的 实际 类 型 和 客户 端的 部 分 实现 。 一 个 实现 了 先前 接口 的 类 ， 代 表 了 可 在 Java He 
拟 机 边界 之 外 被 访问 的 骨架 组 件 。 存 根 由 使 用 rmic 指令 行 工 具 定义 的 骨架 类 生成 。 一 旦 存 
根 - 骨架 准备 好 ， 骨 架 实例 就 会 被 注册 到 RMI 注册 接口 URI 上 ， 通 过 URI 可 以 获取 实例 ， 
映射 到 对 应 的 对 象 上 。RMI 注册 表 是 一 个 独立 的 组 件 ， 用 于 跟踪 所 有 可 以 在 节点 上 获取 的 实 
fi), AP mkA RMI 注册 表 ， 并 以 rmi://host:port/serviceName 的 形式 指定 一 个 URI， 来 获 
取 一 个 相应 对 象 的 引用 。RMI 运行 时 将 自动 检索 与 给 定 URI 的 骨架 配对 的 存根 组 件 的 类 信 
息 ， 然 后 返回 正确 配置 为 与 远程 对 象 进行 交互 的 实例 。 在 客户 端 代 码 中 ， 骨 架 提供 的 所 有 服 
务 都 可 以 通过 调用 在 远程 接口 中 定义 的 方法 来 获取 。RMI 提供 了 十 分 透明 的 交互 模式 。 一 
完成 开发 过 程 ， 并 获得 了 一 个 远程 对 象 的 引用 ， 客 户 端 代码 就 可 以 像 本 地 实例 一 样 与 远程 对 
象 交互 ， 而 且 RM 将 执行 所 有 IPC 需要 的 操作 。 此 外 ，RMI 也 允许 定制 用 于 远程 对 象 的 安 
全 性 。 这 通过 利用 标准 的 Java 安全 架构 实现 ， 人 允许 制定 策略 ， 定 义 承载 远程 对 象 的 JVM 所 
拥有 的 权限 。 

(4) .NET 远 程 处 理 

远程 处 理 是 一 项 在 .NET 应 用 程序 中 实现 IPC 的 技术 。 为 开发 者 提供 了 一 个 访问 远程 对 
象 的 统一 平台 ， 这 些 对 象 来 自 支持 NET 的 任意 语言 所 开发 的 任意 应 用 程序 。 相 对 于 其 他 分 
布 式 对 象 技术 ， 远 程 处 理 是 一 个 可 完全 定制 的 架构 ， 人 允许 开发 者 控制 用 来 在 代理 和 远程 对 象 
之 间 交 换 信息 的 传输 协议 ， 定 义 对 数据 进行 编码 的 序列 化 格式 ， 管 理 远程 对 象 的 生命 周期 和 
服务 器 。 除 了 远程 处 理 架 构 的 模块 化 和 可 定制 特性 ， 远 程 处 理 允许 不 同 应 用 域 的 对 象 透明 地 
交互 。 一 个 应 用 域 代表 了 一 个 孤立 的 只 能 通过 远程 处 理 信道 访问 的 执行 环境 。 一 个 单一 的 进 
程 可 以 承载 多 个 应 用 程序 域 ， 且 必须 至 少 有 一 个 程序 域 。 

远程 处 理 允许 位 于 不 同 应 用 域 的 对 象 以 完全 透明 的 方式 进行 交互 ， 不 论 两 个 应 用 域 是 
否 在 同一 进程 中 、 同 一 机 器 中 或 同一 节点 上 。 这 种 参考 构架 基于 经 典 的 客户 端 / 服 务 顺 模 
型 ， 即 承载 远程 对 象 的 应 用 域 是 服务 器 ， 访 问 远程 对 象 的 应 用 域 是 客户 端 。 开 发 者 定义 一 个 
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类 ， 这 个 类 继承 了 MarshalByRefObject， 基 类 提供 内 置 工 具 以 获得 来 自 另 一 个 应 用 域 实 例 的 
引用 。 不 继承 MarshalByRefObject 类 型 的 实例 将 跨 应 用 域 的 边界 被 复制 。 没 有 必要 手动 生 
成 某 种 需要 远程 公布 的 存根 。 远 程 处 理 架 构 将 自动 地 提供 在 客户 端 应 用 域 生成 代理 所 需 的 全 
部 信息 。 为 了 通过 远程 处 理 访 问 组 件 ， 要 求 组 件 在 远程 处 理 运行 时 注册 ， 并 且 以 scheme:// 
host:port/ServiceName 的 形式 将 其 映射 到 一 个 特定 的 URI 上 ， 其 中 的 骨架 通常 是 TCP 或 
HTTP。 可 以 使 用 不 同 的 策略 来 发 布 远程 组 件 : 开发 者 可 以 提供 开发 类 型 的 实例 ， 或 仅 是 简 
单 的 类 型 信息 。 当 仅 提 供 类 型 信息 时 ， 对 象 基 于 客户 端 方式 自动 激活 ， 开 发 者 可 以 通过 重 写 
MarshalByRefObject 的 缺 省 行为 来 控制 对 象 的 生命 周期 。 为 了 与 远程 对 象 进行 交互 ， 客 户 病 
应 用 域 需要 通过 识别 远程 对 象 的 URI 来 查询 远程 设备 ， 并 获得 远程 对 象 的 代理 。 这 样 ， 与 
远程 对 象 的 交互 完全 透明 化 。 如 在 Java RMI 中 一 样 ， 远 程 处 理 允 许 自 定义 安全 措施 ， 用 于 
由 远程 调用 触发 的 代码 的 执行 。 

这 些 是 最 为 流行 的 实现 分 布 式 对 象 编程 的 技术 。CORBA 是 一 项 工业 标准 技术 ， 用 来 
开发 跨越 不 同 平台 的 分 布 式 系统 ， 此 技术 可 在 多 种 实现 和 语言 中 互 操作 。Java RMI 和 远 
程 .NET 是 IPC 的 基础 设施 ， 用 于 创建 基于 某 一 种 技术 的 分 布 式 应 用 程序 ， 如 Java 和 .NET。 
对 于 CORBA， 其 使 用 和 配置 并 不 复杂 ， 但 是 技术 本 身 不 可 互 操作 。 而 Java 和 远程 .NET 依 
赖 于 一 个 统一 的 平台 非常 简单 且 直 观 ， 并 且 提 供 了 适合 支持 语言 结构 的 透明 交互 模式 。 尽 管 
这 两 个 构架 是 相似 的 ， 但 它们 也 有 一 些 细微 差别 : Java 使 用 名 为 RMI 注册 表 的 外 部 组 件 来 
确定 远程 对 象 位 置 ， 并 仅 允 许 发 布 接口 ; 而 远程 .NET 不 使 用 注册 表 ， 并 人 允许 开发 者 公开 类 
的 类 型 。 这 两 种 方法 都 广泛 地 用 于 分 布 式 应 用 程序 开发 。 


2.5.3 ”面向 服务 的 计算 


面向 服务 的 计算 以 服务 的 形式 组 织 分 布 式 系 统 ， 此 服务 表征 了 构建 系统 的 主要 抽象 。 面 
四 服务 将 应 用 和 软件 系统 表示 为 在 面向 服务 架构 (SOA) 中 协同 工作 的 服务 的 聚集 。 尽 管 还 
没有 专门 用 于 开发 面向 服务 软件 系统 的 技术 ,但 Web 服务 却 是 实际 上 用 来 开发 基于 SOA 系 
统 的 方法 。Web 服务 作为 实现 云 计 算 系 统 的 重要 组 件 ， 通 过 互联 网 建立 用 户 与 系统 之 间 的 主 
要 交互 通道 。 
1. 什么 是 服务 
服务 封闭 了 一 组 具有 紧密 相关 功能 的 软件 组 件 ， 其 功能 可 被 重用 并 被 集成 到 更 大 、 更 复 
薪 的 应 用 中 。 术 语 服务 是 一 个 普遍 的 抽象 概念 ， 包 括 使 用 不 同 技术 和 协议 的 多 种 不 同 的 实 
现 。Don Box[107] 给 出 了 标识 一 个 服务 的 四 大 特点 : 
e 边界 明确 。 面 品 服务 的 应 用 程序 通常 由 分 布 在 不 同 领 域 、 不 同 受 信和 机构 和 执行 环境 
的 服务 组 成 。 一 般 情况 下 ， 跨 越 上 述 边界 代价 很 高 ， 因此， 通过 设计 和 利用 消息 
传递 可 以 完成 服务 调用 。 分 布 式 对 象 编程 的 远程 方法 调用 是 透明 的 ， 在 面向 服务 的 
计算 环境 中 ， 服 务 的 交互 是 显 式 的 ， 服 务 的 接口 保持 最 小 化 ， 以 促进 其 重用 并 简化 
交互 。 
® 服务 自治 。 服务 是 已 有 的 提供 某 种 功能 的 组 件 ， 服 务 被 聚合 并 协同 以 构建 更 为 复杂 
系统 。 这 些 组 件 不 是 为 某 个 特定 系统 而 设计 的 ， 甚 至 可 以 同时 被 集成 到 多 个 软件 系 
统 中 。 相 对 于 面向 对 象 架构 假定 应 用 程序 的 部 署 是 原子 的 ， 面 向 服务 将 这 种 情况 视 
为 例外 而 不 是 规则 ， 关 注 的 是 作为 自治 组 件 的 服务 的 设计 。 自 治 的 概念 也 影响 了 服 
务 处 理 故 障 的 方式 。 服 务 运 行 于 未 知 的 环境 中 ， 并 与 第 三 方 应 用 程序 交互 。 考 虑 到 
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这 种 环境 ， 可 能 会 出 现 如 下 问题 : 应 用 程序 可 能 在 无 通知 的 情况 下 发 生 故 障 ， 消 息 可 
能 存在 格式 错误 ， 客 户 端 可 能 未 被 授权 。 面 向 服务 的 设计 解决 上 述 问题 的 方法 包括 ; 
使 用 事务 、 持 和 久 队 列 、 宛 余部 署 、 故 障 转 移 、 管 理 不 同 的 域 之 间 的 信任 关系 。 
服务 共享 模式 和 身 约 ， 不 是 槟 类 或 接口 定义 。 服 务 不 像 在 面向 对 象 系统 中 那样 被 表 
示 为 类 或 接口 ， 而 是 由 模式 和 契约 来 定义 。 一 个 服务 通告 一 个 契约 ， 描 述 可 被 发 送 
或 接收 以 及 附加 约 东 的 消息 的 结构 。 服 务 没 有 以 类 型 和 类 的 形式 表示 ， 因 此 更 容易 
用 于 更 广泛 和 异 构 的 环境 中 。 同 时 ， 由 于 更 改 可 能 传播 给 所 有 可 能 的 客户 ， 所 以 面 
问 服 务 要 求 契 约 和 模式 保持 稳定 。 为 解决 这 个 问题 ， 允 许 契 约 和 模式 在 不 破坏 已 配 
置 代码 的 前 提 下 演化 服务 。 比 如 ，XML 和 SOAP 技术 提供 了 合适 的 工具 来 支持 这 些 
PE, ， 而 不 是 类 的 定义 或 接口 的 声明 。 
o 服务 的 兼容 性 由 策略 决定 。 面 向 服务 将 结构 兼容 性 从 语义 兼容 性 中 分 离 出 来 。 结 构 
兼容 性 基于 契约 和 模式 ， 可 以 基于 机 器 学 习 技术 进行 验证 或 强制 执行 。 语 义 兼 容 性 
以 定义 了 服务 功能 和 服务 需求 的 策略 形式 表示 。 策 略 以 表达 式 的 形式 组 织 起 来 ， 为 
了 使 服务 可 以 正常 运作 ， 这 些 表 达 式 必须 为 真 。 
如 今 ， 服 务 是 最 流行 的 用 于 复杂 和 互 操作 系统 设计 的 方法 。 分 布 式 系统 意味 着 异 构 性 、 
可 扩展 性 和 动态 性 。 通 过 从 特定 实现 技术 和 平台 上 抽象 出 来 ， 服 务 提供 了 更 为 有 效 的 方法 来 
实现 集成 。 此 外 ， 由 于 服务 被 设计 成 自治 的 组 件 ， 所 以 更 易于 重用 和 集成 。 这 些 特性 不 是 
从 智能 系统 的 设计 和 实现 中 提取 出 来 的 ， 而 只 是 服务 特性 的 一 部 分 ， 就 像 分 布 式 对 象 编 程 
一 样 。 
2. 面向 服务 的 架构 (SOA) 
SOA 是 支持 面向 服务 的 架构 2 。 它 将 一 个 软件 系统 组 织 成 可 互 操作 服务 的 集合 。SOA 给 
出 一 系列 设计 原则 ， 涵 盖 系 统 开 发 结构 和 将 组 件 集成 为 连贯 的 非 集 中 化 系统 的 方法 。 基 于 
SOA 的 计算 将 功能 封装 成 一 组 互 操 作 的 服务 ， 这 些 服务 可 以 集成 到 不 同业 务 领 域 的 不 同 软 
件 系 统 中 。 
SOA 有 两 个 主要 角色 : 服务 供应 商 和 服务 消费 者 。 服 务 供应 商 是 服务 的 维护 方 ， 是 提 
供 一 个 或 多 个 服务 的 组 织 机 构 。 为 了 通告 服务 ， 服 务 供应 商 可 以 将 服务 和 服务 契约 发 布 在 注 
册 表 中 ， 服 务 契 约 指定 服务 类 型 、 服 务 使 用 方法 、 服 务 要 求 和 费用 。 服 务 消 费 者 可 以 在 注册 
表 中 查询 服务 的 元 数据 ， 开 发 所 需 的 客户 端 组 件 来 绑 定 并 使 用 该 服务 。 服 务 供应 商 和 服务 消 
费 者 可 以 属于 不 同 的 组 织 机 构 或 业务 领域 。 在 基于 SOA 的 计算 系统 中 ,组件 通常 同时 扮演 
着 服务 供应 商 和 服务 消费 者 的 角色 。 服 务 可 以 收集 从 其 他 服务 中 检索 的 信息 和 数据 ， 或 者 创 
建 满足 服务 消费 者 特定 需求 的 服务 工作 流 。 该 过 程 称 为 服务 协同 ， 通 常用 来 描述 自动 化 安 
排 、 协 调 ， 以 及 对 复杂 计算 机 系统 、 中 间 件 和 服务 的 管理 。 另 一 个 重要 的 互 操作 模式 是 服务 
编排 ， 这 是 无 单 点 控制 的 服务 协调 和 互 操作 。 
SOA 提供 了 用 于 多 种 软件 系统 架构 的 参考 模型 ， 尤 其 是 企业 业务 应 用 和 系统 。 在 此 环 
境 中 ， 互 操作 性 、 标 准 化 和 服务 契约 扮演 了 重要 角色 。 特 别 是 以 下 指导 原则 [108] ， 它 们 表 
征 了 SOA 平台 的 特性 ， 在 企业 环境 中 突显 了 其 优势 : 


S SOA 定义 由 开放 工作 组 Open Group ( www.opengroup.org) 给 出 ， 该 工作 组 是 供应 商 和 技术 中 立 联 盟 ， 包括 
300 家 成 员 机 构 。 其 工作 内 容 包 括 管理 、 创 新 、 研 究 、 标 准 化 、 认 证 和 开发 测试 。Open Group 是 UNIX 商标 
认证 机 构 ， 因 为 它 是 UNIX 系统 官方 定义 的 创建 者 。SOA 相关 文档 和 标准 参见 网 址 www.opengroup.org/soa/ 
soa/def.htm, 
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o 标准 化 服务 契约 。 服 务 遵守 一 个 给 定 的 通信 协议 ， 该 协议 由 一 个 或 多 个 服务 摘 述 文 
件 详 细 说 明 。 

o 松散 耦合 。 服 务 被 设计 成 自 包含 组 件 ， 维 护 最 小 化 依赖 于 其 他 服务 的 关系 ， 仅 要 求 
可 相互 识别 。 服 务 契 约 约束 服务 之 间 所 需 的 互 操作 。 这 简化 了 服务 的 柔性 聚合 ， 实 
现 了 更 灵活 的 支持 企业 业务 发 展 的 设计 策略 。 

© 抽象 。 一 个 服务 是 由 服务 契约 和 描述 文件 完整 定义 的 。 服 务 隐 藏 了 上 自己 的 逻辑 ， 将 
其 封装 在 服务 实现 中 。 服 务 描述 文件 和 契约 的 使 用 使 得 我 们 不 需要 考虑 技术 实现 细 
节 ， 并 提供 了 一 个 定义 企业 环境 中 的 软件 系统 的 更 直观 的 框架 。 

e 可 重用 性 。 服 务 被 设计 为 组 件 的 形式 ， 可 以 更 为 有 效 地 实现 重用 ， 这 样 就 减少 了 开 
发 时 间 和 相关 的 成 本 。 可 重用 性 能 使 得 设计 、 实 施 和 部 署 成 本 有 效 系统 变 得 更 加 灵 
活 。 因 此 ， 可 以 通过 支付 合理 的 费用 ， 利 用 第 三 方 服务 来 交付 所 需 的 功能 ， 而 不 需 
要 自行 开发 此 功能 。 

o 自治 性 。 服 务 控制 封装 逻辑 ， 服 务 消 费 者 没有 必要 了 解 执行 情况 。 

o 状态 缺失 。 通 过 提供 无 状态 的 互 操作 模式 ， 提 高 了 服务 被 重用 和 集成 的 机 会 ， 尤 其 
是 在 单一 服务 被 多 个 属于 不 同 机 构 和 业务 领域 的 消费 者 使 用 的 情况 下 . 

o 可 发 现 性 。 服 务 由 描述 文件 定义 ， 其 中 包括 有 效 发 现 服务 的 元 数据 。 服 务 发 现 为 利 
用 第 三 方 资源 提供 了 有 效 的 方法 。 

e 可 组 合 性 。 使 用 服务 作为 基础 模块 可 以 实现 复杂 的 操作 。 服 务 协 同和 编排 为 组 合 服 
务 并 实现 业务 目标 提供 了 坚实 的 文 撑 。 

与 上 述 原 则 配套 的 ， 还 有 将 SOA 用 于 企业 应 用 集成 (EAI) 的 其 他 参考 资料 。SOA 说 
明文 档 ” 集 成 了 之 前 所 描述 的 原则 ， 并 全 面 考虑 了 将 面向 服务 方法 用 于 企业 应 用 软件 设计 的 
总 体 目 标 和 价值 。 此 外 ， 建 模 框架 和 方法 ， 如 面向 服务 的 模型 框架 (SOMF) [110] ， 以 及 由 
先进 架构 标准 化 组 织 (OASIS) 引入 的 参考 架构 ， 提 供 了 用 于 有 效 实现 SOA 的 方法 。 

SOA 可 以 通过 几 种 技术 来 实现 。SOA 的 最 初 实现 利 用 了 分 布 式 对 象 编程 技术 ， 如 
CORBA 和 DCOM。 尤 其 是 CORBA 已 经 成 为 了 实现 SOA 系统 的 合适 平台 ， 因 为 它 在 不 同 
的 实现 中 促进 了 互 操作 性 ， 目 前 已 经 成 为 支持 工业 应 用 开发 的 一 种 规范 。 如 今 ，SOA 大 多 
通过 Web 服务 技术 实现 ，Web 服务 技术 为 连接 系统 和 应 用 提供 了 互 操作 平台 。 

3. Web 服务 

Web 服务 [21] 是 实现 SOA 系统 和 应 用 的 主要 技术 。Web 服务 利用 了 网 络 技术 和 标准 
构建 分 布 式 系统 。Web 服务 成 为 实现 SOA 的 首选 技术 的 原因 有 以 下 几 个 方面 。 首 先 ，Web 
服务 允许 跨越 不 同 平台 和 编程 语言 进行 互 操作 ; 第 二 ，Web 服务 基于 众所周知 的 且 与 供应 商 
无 关 的 标准 ， 比 如 HTTP、SOAP[23] 、XML 和 WSDL[22] ; 第 三 ，Web 服务 提供 了 一 种 
直观 和 简单 的 方法 来 连接 异 构 的 软件 系统 ， 可 以 在 一 个 分 布 式 环境 中 快速 组 合 服务 ， 最 后 ， 
Web 服务 提供 了 在 工业 环境 中 使 用 的 企业 业务 应 用 所 需 的 功能 。Web 服务 定义 了 服务 发 现 功 
能 ， 这 使 得 系统 架构 师 能 够 更 有 效 地 组 合 SOA 应 用 ， 并 且 具 有 评价 服务 质量 功能 ， 可 以 评 
佑 一 个 特定 的 服务 是 否 遵 守 了 服务 供应 商 和 服务 消费 者 之 间 的 契约 。 


© SOA 说 明文 档 由 17 位 SOA 实践 者 编写 的 ， 定 义 了 基于 面向 服务 的 方法 来 设计 软件 系统 架构 的 指南 和 原则 。 
获取 该 文档 网 址 www.soa-manifesto.org. 
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Web 服务 的 原理 非常 简单 ， 以 面向 对 象 的 抽象 模型 为 基础 ，Web 服务 公布 了 一 系列 操 
作 ， 基 于 网 络 协 议 可 以 调用 这 些 操作 。 方法 操作 支持 以 复杂 或 简单 类 型 形式 表示 的 参数 和 返 
回 值 。 调 用 Web 服务 方法 的 语义 通过 互 操作 标准 化 语言 (如 XML 和 WSDL) 来 描述 ， 这 些 
你 准 化 语言 也 提供 了 一 个 完整 的 框架 ， 用 于 描述 平台 无 关 环境 中 的 简单 或 复杂 的 类 型 。 将 
Web 服务 托管 在 Web 服务 器 上 便 可 以 访问 这 些 Web 服务 ， 因 此 ，HTTP 是 与 Web 服务 进行 
交互 的 最 流行 的 传输 协议 。 图 2-16 描述 了 常见 的 Web 服务 应 用 案例 。 
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图 2-16 Web 服务 交互 场景 


系统 架构 用 其 首选 技术 开发 Web 服务 ， 并 且 在 兼容 的 Web 或 应 用 服务 器 上 部 署 Web 服 
务 。 通 过 Web 服务 描述 语言 (WSDL) 定义 的 服务 描述 文档 ， 既 可 以 上 传 至 全 局 注册 表 ， 又 
可 以 作为 服务 的 元 数据 。 服 务 消费 者 可 以 在 全 局 目录 中 使 用 通用 描述 发 现 和 集成 ( UDDT)、 
查找 和 发 现 服务 ， 或 者 通过 首先 询问 Web 服务 的 方式 直接 检索 服务 元 数据 。Web ARS hi 
述 文档 允许 服务 使 用 者 自动 生成 指定 服务 客户 端 ， 并 将 其 戏 人 现 有 的 应 用 程序 。Web 服务 
现在 非常 流行 ， 主 流 编程 语言 以 库 或 开发 支持 工具 的 形式 绑 定 Web 服务 功能 。 相 对 而 言 ， 
CORBA 需要 更 多 集成 技术 ， 而 Web 服务 的 技术 更 加 无 颖 化 和 简单 化 。 而 且 ， 由 于 可 互 操作 
性 ， 相 对 于 其 他 几 种 分 布 式 对 象 框架 ， 如 只 适用 于 单一 平台 或 环境 的 远程 .NET、Java RMI 
和 DCOM/COM +, Web 服务 是 实现 SOA 的 更 好 的 解决 方案 。 

除了 通过 利用 基于 Web 的 技术 和 互 操作 标准 实现 远程 方法 调用 的 主要 功能 外 ，Web AR 
务 还 综合 了 多 种 技术 ， 更 容易 集成 异 构 应 用 ， 实 现 面向 服务 的 计算 。 图 2-17 所 示 为 Web AR 
务 技术 栈 ， 列 出 了 所 有 描述 和 实现 Web 服务 抽象 的 概念 框架 组 件 。 这 些 技术 涵盖 了 在 分 布 
式 环境 中 执行 Web 服务 的 所 有 方面 ， 从 网 络 连接 的 具体 要 求 到 服务 的 发 现 。 这 些 技术 的 核 
心 都 是 XML，XML 也 是 使 得 Web 服务 流行 并 易于 使 用 的 原因 之 一 。 基 于 XML 的 语言 可 
用 于 管理 Web 服务 方法 调用 (SOAP) 的 底层 交互 、 提 供 服 务 的 元 数据 ( WSDL)、 发 现 服务 
(UDDI)， 以 及 其 他 核心 操作 。 在 实际 中 ,使 Web 服务 运作 的 核心 组 件 是 SOAP 和 WSDL. 
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图 2-17 Web 服务 技术 栈 


简单 对 象 访 问 协议 (SOAP) [23] 是 一 种 基于 XML 的 语言 ， 以 平台 无 关 的 方式 交换 结构 
化 信息 ， 是 用 于 Web 服务 方法 调用 的 协议 。 在 分 布 式 网 络 环境 下 ，SOAP 被 认为 是 一 种 应 用 
层 协议 ， 利 用 传输 层 协 议 HTTP 实现 IPC。SOAP 以 结构 化 消息 的 形式 交互 信息 ， 而 消息 本 
身 是 XML 文档 ， 这 种 XML 文档 仿照 了 包含 信封 、 信 头 和 信和 体内 容 的 信件 结构。 信封 定义 了 
SOAP 消息 的 边界 。 信 头 是 可 选 的 ， 包 含 如 何 处 理 消 息 的 相关 人 信息， 此外， 还 包含 如 路 由 和 传 
送 设 置 、 身 份 验证 和 授权 声明 ， 以 及 处 理 环境 等 信息 。 信 件 主体 包含 了 实际 待 处 理 的 消息 。 

SOAP 消息 主要 用 于 方法 调用 和 结果 返回 。 图 2-18 给 出 了 一 个 调用 Web 服务 方法 的 
SOAP 消息 的 例子 ， 用 于 检索 给 定 股票 的 价格 并 返回 结果 。 尽 管 XML 文档 易于 在 任何 平台 3 
编程 语言 中 生成 和 处 理 ， 人 们 还 是 经 常 认为 SOAP 效率 不 高 ， 因 为 其 过 度 使 用 XML 强加 的 标 
记 将 信息 组 织 为 较 好 形式 的 文档 。 因 此 ， 已 经 提出 了 支持 Web 服务 的 SOAP/XML 轻 量 级 替代 
方案 。 最 相关 的 替代 是 表征 状态 转移 协议 (REST), REST 提供 了 用 客户 端 /服务 器 模型 设计 
基于 网 络 的 软件 系统 的 模型 ， 并 无 附加 条 件 地 利用 由 HTTP 为 实现 IPC 而 提供 的 功能 。 

在 RESTful 系统 中 ， 客 户 使 用 标准 HTTP 方法 (PUT、GET、POST 和 DELETE)， 通 
过 HTTP 发 送 一 个 请 求 ， 服 务 器 发 出 一 个 包含 资源 表现 形式 的 响应 。 依 靠 这 种 最 小 支 集 ， 可 
以 提供 任意 所 需 的 替换 SOAP 的 基本 功能 也 是 最 重要 的 功能 ， 即 方法 调用 。GET、PUT、 
POST 和 DELETE 方法 构成 了 检索 、 添 加 、 修 改 和 删除 数据 的 最 小 操作 集合 。 利 用 URI 识 
别 资源 可 以 实现 Web 服务 所 需 的 所 有 原子 操作 。 数 据 的 内 容 仍然 由 XML 传输 ， 并 作为 
HTTP 内 容 的 一 部 分 ， 但 是 SOAP 需要 的 附加 标记 被 删除 了 。 因 此 ，REST 代表 了 轻 量 级 
SOAP， 在 超出 HTTP 管理 范围 的 某 些 方面 ， 它 可 以 有 效 地 工作 。 例 如 安全 性 ， 除 HTTP 所 
提供 的 安全 性 以 外 ，RESTful Web 服务 可 以 在 不 需要 附加 安全 性 的 环境 中 执行 。RESTful 
Web 服务 十 分 流行 且 用 于 企业 级 传输 功能 ，Twitter、Yahoo ! (搜索 API、 地 图 、 照 片 等 )、 
Flickr 和 Amazon.com 都 使 用 了 REST. 

Web JR #438 38 S (WSDL) [22] 是 用 于 描述 Web 服务 的 基于 XML 的 语言 。WSDL 
按照 被 调用 的 方法 以 及 所 需 参 数 和 返回 值 的 类 型 和 结构 来 定义 Web 服务 的 接口 。 在 图 2-18 
中 ， 我 们 注意 到 ， 调 用 GetStockPrice 方法 和 接收 结果 的 SOAP 消息 中 ， 并 不 包含 任何 有 关 
参数 和 返回 值 的 类 型 和 结构 的 信息 。 这 一 信息 被 保存 在 Web 服务 附带 的 WSDL 文档 中 。 因 
WE, Web 服务 消费 者 的 应 用 程序 已 经 知道 需要 哪些 类 型 的 参数 ， 以 及 如 何 呈 现 结果 。 作 为 基 
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F XML 的 语言 ，WSDL 允许 自动 生成 可 以 轻易 丛 入 现 有 应 用 中 的 Web 服务 客户 端 。 此 外 ， 
XML 是 一 种 与 平台 和 语言 无 关 的 规范 ， 因 此 Web 服务 客户 端 可 以 由 能 够 解释 XML 数据 的 
任意 语言 来 生成 。 这 一 基本 特征 使 得 Web 服务 具有 互通 性 ， 也 是 这 项 技术 成 为 实现 SOA 的 
首选 方案 的 原因 之 一 。 


Content-Type: application/soap+xml; charset=utf-8 
Content-Length: <Size> 


<?xml version=“1.0"%> 


' <soap:Envelope xmlns:soap="http//www.w3.org/2001/12/soap-envelope” 
i soap:encondingStyle=“http//www.w3. org/2001/12/soap-encoding”> 


| 言 头 ， 元 H “+! 
和 <soap :Header></soap: Header> fik: 元 数据 和 声明 ii 


8 EEE EOE EEE EEE EEE EE EEE ERE EERE EEE TEESE RR SSE ERE ROSS SHS SESE SEES SES HEHE HESH OS EH ESSE SSS eee EsES 


PA <soap:Body xmlns:m=http://www.stocks.org/stock> 4 
i <m:GetStockPrice> 

<m: StockName>IBM<m:StockName> 
'! </m:GetStockPrice> 


: | </soap: Body> $ 
ee 信 体 : 方法 调用 。 上 


Vm 


POST /InStock HTTP/1.1 

Host: www.stocks.com 

Content-Type: application/soap+xml; charset=utf-8 
Content-Length: <Size> 


<?xml version="1.0"> 


<soap:Envelope xmins: soap=“http/ /www.w3.org/2001/12/scap-envelope” 
' goap:encondingStyle="“ht tp/ /www.w3.org/2001/12/soap-encoding”> 


te 信 头 : 元 数据 和 声明 fs! 
‘1 <soap :Header></soap: Header> +} 


a 
Se eee eR RR REE EERE aa M 


; ; <soap:Body smins:m=http://www.stocks.org/stock> 
'! <m:GetStockPriceResponse> 

, <m:Price>34.S<m:Price> 
;; </m:GetStockPriceResponse> 


te </ soap: Body> 一 $ 
aana aaae a E A E E E r a A E a 信 体 : 执行 结果 a! 


; 
ee Ree OO Ree ee EEE EEE EEE EE EEE EEE OK EET KH Hee PT HH He ee ee -" 


图 2-18 用 于 Web 服务 方法 调用 的 SOAP 消息 


除了 直接 支持 Web 服务 的 技术 以 外 ， 其 他 Web 2.0[27] 技术 为 Web 应 用 和 基于 SOA 
的 系统 构建 提供 了 丰富 的 和 增强 的 功能 。 例 如 异步 JavaScript 和 XML (AJAX), UK 
JavaScript 标准 对 象 符 号 (JSON) 等 框架 。 AJAX 是 一 个 基于 JavaScript 和 XML 的 概念 框架 ， 
利用 Web 浏览 器 的 计算 能 力 ， 在 Web 应 用 中 实现 异步 操作 ， 将 简单 的 Web 页 面 转换 为 成 熟 
且 丰 富 的 应 用 。AJAX 利用 XML 来 交换 Web 服务 和 应 用 的 数据 ，JSON 可 代替 XML， 以 平 
台 无 关 的 方式 表示 对 象 和 对 象 集合 。 通 常 更 倾向 于 在 AJAX 环境 中 传递 数据 ， 因 为 与 XML 
相 比 ，AJAX 是 一 个 轻 量 级 表示 法 ， 它 能 够 以 更 简洁 的 形式 传输 等 量 的 信息 。 

4. 面向 服务 和 云 计 算 

Web 服务 和 Web 2.0 相关 技术 构成 了 云 计算 系统 和 应 用 的 基本 构件 。Web 2.0 应 用 程序 
是 云 计 算 系 统 的 前 端 ， 既 可 以 通过 Web 服务 交付 服务 ， 又 可 以 与 基于 AJAX 的 客户 端 进行 
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有 效 的 交互 。 从 本 质 上 讲 ， 云 计算 提出 了 一 切 异 可 作为 服务 ( XaaS) 的 构想 : 基础 设施 、 平 
台 、 服 务 和 应 用 都 可 以 作为 服务 。 整 个 IT 计算 栈 一 一 从 基础 设施 到 应 用 一 一 都 可 以 依 徘 云 
计算 服务 来 组 合 实现 。 在 这 种 情况 下 ，SOA 是 首选 方法 ， 因 为 它 以 服务 的 观点 提出 架构 、 
组 合 和 部 署 软件 系统 的 设计 原则 。 因 此 ， 面 向 服务 是 构建 云 计算 系统 的 本 质 方法 ， 它 提供 了 
灵活 地 组 合并 将 更 多 功能 集成 到 现 有 软件 系统 的 方法 。 云 计算 也 被 用 来 按 需 地 弹性 化 扩展 和 
增加 现 有 软件 应 用 的 功能 。 通 过 采用 平台 无 关 的 技术 ， 面 向 服务 模型 提高 了 互 操作 性 。 在 这 
种 情况 下 ， 它 是 解决 集成 问题 并 促进 云 计算 应 用 的 基本 方法 。 


本 章 小 结 


本 章 介 绍 了 并 行 计 算 和 分 布 式 计算 ， 以 便 更 好 地 理解 云 计算 。 并 行 和 分 布 式 计 算 的 出 
现 ， 首 次 使 用 了 多 个 处 理 单 元 以 及 网 络 中 多 个 计算 节点 ， 为 复杂 (“ 巨 大 挑战 ”) 问题 提供 了 
解决 方案 。 从 串 行 到 并 行 以 及 分 布 式 处 理 的 转变 ， 为 应 用 提供 了 高 效 的 性 能 和 可 靠 性 。 但 在 
硬件 架构 、 进 程 间 通信 技术 以 及 算法 与 系统 设计 方面 ， 这 种 转变 也 市 来 了 新 的 挑战 。 本 章 讨 
论 了 支持 并 行 处 理 的 技术 的 演化 ， 并 介绍 了 用 于 设计 和 实现 分 布 式 系统 的 主要 参考 模型 ， 

并 行 计算 引入 了 在 单一 计算 节点 或 在 一 组 同 构 硬 件 的 紧 斐 合 节 点 上 执行 多 任务 的 模型 和 
架构 。 并 行 性 通过 能 够 并 行 处 理 多 条 指令 的 硬件 来 实现 。 不 同 的 架构 利用 并 行 性 来 提高 计算 
系统 的 性 能 ， 而 这 取决 于 数据 并 行 、 指 令 并 行 ， 或 数据 与 指令 同时 并 行 处 理 。 并 行 应 用 的 开 
发 常 要 求 特定 的 环境 和 编译 器 ， 以 提供 对 底层 基础 设施 的 高 级 功能 的 透明 访问 。 

并 行 和 分 布 式 计算 的 结合 ,使 人 们 可 以 利用 一 组 网 络 化 的 异 构 计 算 机 ， 并 将 这 些 作 为 统 
一 的 资源 来 处 理 。 分 布 式 系 统 组 成 了 一 个 庞大 的 体系 ， 对 多 种 不 同 的 软件 系统 进行 了 分 类 ， 
架构 模式 有 助 于 这 种 分 类 ， 并 为 分 布 式 系统 提供 了 参考 模型 。 更 准确 地 说 ， 软 件 架 构 模 式 定 
义 了 组 件 和 角色 的 逻辑 结构 ， 而 系统 架构 模式 更 关注 此 类 系统 的 物理 部 署 。 本 章 简 要 地 回顾 
了 主要 的 参考 软件 架构 模式 ， 并 讨论 了 最 为 重要 的 系统 架构 模式 : 客户 端 /服务 器 模型 和 对 
等 模型 。 这 两 种 架构 模式 是 任何 分 布 式 系统 的 基本 配置 单元 。 尤 其 是 客户 端 / 服 务 器 模型 ， 
它 是 分 布 式 系统 中 最 流行 的 组 件 间 交 互 模式 的 基础 。 

进程 间 通 信 (IPC) 是 分 布 式 系 统 中 的 基本 要 素 : 它 使 得 独立 的 进程 结合 在 一 起 ， 并 被 
视 为 一 个 整体 。 基于 消息 的 通信 是 与 IPC 最 为 相关 的 抽象 概念 ， 形 成 了 关于 IPC 的 几 种 不 
同 技术 ， 如 远程 过 程 调用 、 分 布 式 对 象 、 服 务 。 本 章 回顾 了 分 布 式 系统 的 组 件 间 通信 的 参考 
模型 ， 并 介绍 了 每 个 抽象 模型 的 主要 特征 。 

云 计算 利用 这 些 模 型 、 抽 象 和 技术 ,提供 了 设计 和 使 用 分 布 式 系统 的 更 加 有 效 的 方法 ， 
即 按 需 提供 整个 系统 或 组 件 。 


习题 


1. 并 行 计 算 和 分 布 式 计 算 的 区 别 是 什么 ? 

2， 闸 述 并 行 处 理 成 为 值得 关注 的 计算 技术 的 原因 。 

3. 什么 是 SIMD 架构 ? 

4. 列举 并 行 计 算 系 统 的 主要 分 类 。 

5. 描述 计算 系统 中 可 以 获得 的 并 行 级 别 。 

6. 什么 是 分 布 式 系统 ? 具有 分 布 式 系统 特征 的 组 件 有 哪些 ? 
7. 什么 是 架构 模式 ? 在 分 布 式 系统 中 它 的 作用 是 什么 ? 
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8. 列举 最 主要 的 软件 架构 模式 。 
9. 什么 是 基本 系统 架构 模式 ? 


10. 
ll. 
pA 
， 分 布 式 对 象 和 RPC 的 区 别 是 什么 ? 

.什么 是 对 象 激活 和 生命 周期 ? 它们 如 何在 分 布 式 系统 中 影响 状态 的 一 致 性 ? 
.与 分 布 式 对 象 编程 最 相关 的 技术 是 什么 ? 

， TRANG CORBA. 

.什么 是 面向 服务 的 计算 ? 

.什么 是 面向 市 场 的 云 计算 ? 

， 什 么 是 SOA ? 

， 论述 支 持 服务 计算 的 相关 技术 。 


在 分 布 式 系统 中 ， 和 进程 间 通 信 最 相关 的 抽象 模型 是 什么 ? 
论述 基于 消息 通信 的 最 重要 的 模型 。 
论述 RPC 及 其 实现 进程 间 通 信 的 方法 。 
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虚拟 化 技术 是 云 计 算 的 基本 组 件 ， 在 基础 设施 即 服务 方案 中 ， 虚 拟 化 技术 尤为 重要 。 虚 
拟 化 技术 为 应 用 程序 的 运行 创建 了 安全 的 、 可 定制 的 、 独 立 的 执行 环境 ， 即 使 杀 一 应 用 程 
序 是 不 可 信 的 ， 也 不 会 影响 其 他 用 户 应 用 程序 的 运行 。 这 项 技术 的 基础 是 模拟 独立 于 程序 托 
管 系统 的 应 用 执行 环境 的 计算 机 程序 或 是 软 硬 件 集成 系统 。 例 如 ， 我 们 可 以 在 虚拟 机 上 运行 
Windows 操作 系统 ， 即 便 该 虚拟 机 本 身 在 Linux 操作 系统 上 运行 。 虚 拟 化 技术 使 我 们 能 以 最 
小 的 成 本 建立 弹性 的 、 可 扩展 的 、 提 供 额 外 功能 的 系统 。 虚 拟 化 技术 广泛 用 于 按 需 提供 的 可 
定制 计算 环境 。 

本 章 介绍 虚拟 化 的 基本 概念 及 其 发 展 过 程 ， 以 及 在 云 计 算 环 境 中 使 用 的 多 种 模型 和 
技术 。 


3.1 简介 


虚拟 化 技术 具有 庞大 的 技术 与 概念 体系 ， 提 供用 于 应 用 程序 运行 的 抽象 环境 ， 既 包括 虚 
拟 硬 件 也 包括 操作 系统 。 术 语 虚 拟 化 通常 指 硬件 虚拟 化 ， 在 为 云 计算 环境 有 效 地 提供 基础 设 
施 即 服务 (IaaS) 的 方案 中 起 到 关键 作用 。 事 实 上 ， 虚 拟 化 技术 在 计算 机 科学 史 中 已 经 有 长 
久 的 发 展 ， 并 已 在 操作 系统 级 、 编 程 语言 级 和 应 用 级 实现 了 虚拟 化 环境 。 而 且 ， 虚 拟 化 技术 
不 仅 为 应 用 执行 提供 了 虚拟 环境 ， 也 可 用 于 存储 、 内 存 和 网 络 的 虚拟 化 ， 

最 初 ， 虚 拟 化 技术 很 少 得 到 研究 和 应 用 ， 但 最 近 几 年 ， 这 项 技术 在 持续 地 快速 发 展 。 以 
下 现象 使 虚拟 化 技术 重新 受到 关注 : 

。 更 高 的 性 能 和 计算 能 力 。 如 今 ， 一 般 用 户 的 台式 计算 机 (PC) 已 经 可 以 满足 几乎 所 有 
日 常 计算 需求 ， 很 少 需 要 额外 的 计算 能 力 。 几 乎 所 有 PC 都 有 足够 的 资源 承载 虚拟 机 
管理 器 ， 并 以 可 接受 的 性 能 执行 虚拟 机 。 高 端 计 算 机 市 场 亦 是 如 此 ， 例 如 超级 计算 
机 能 提供 可 执行 数 百 或 数 千 虚拟 机 的 巨大 计算 能 力 。 

未 充分 利用 的 硬件 和 软件 资源 。 硬 件 和 软件 未 充分 利用 是 由 于 : 性 能 和 计算 能 力 提 
高 ;资源 有 限 或 零星 使 用 。 如 今 计 算 机 如 此 强大 ， 大 多 数 情况 下 应 用 或 系统 只 使 用 
了 小 部 分 计算 能 力 。 此 外 ， 如 果 我 们 考虑 企业 的 IT 基础 设施 ， 许 多 计算 机 都 只 是 部 
分 被 使 用 ， 然 而 它们 却 可 以 365 天 不 间断 地 工作 。 例 如 ， 台 式 PC 主要 用 于 办 公 自 动 
化 ， 行 政 人 员 在 工作 时 间 操 作 这 些 机 器 ， 夜 晚 则 完全 无 人 使 用 ， 若 工作 时 间 之 外 将 
这 些 资源 用 于 其 他 用 途 ， 将 可 以 提高 IT 基础 设施 的 效率 。 为 了 透明 地 提供 这 样 的 服 
务 ， 需 要 部 署 一 个 完全 独立 的 环境 ， 这 可 以 通过 虚拟 化 来 实现 。 

空间 不 足 。 对 存储 或 计算 能 力 的 持续 需要 ， 使 数据 中 心 快速 增长 。 谷 歌 和 微软 等 公 
司 通过 建立 大 如 足球 场 、 能 够 承载 上 千 个 节点 的 数据 中 心 ， 来 扩大 其 基础 设施 服务 。 
虽然 这 对 于 IT 巨头 是 可 行 的 ， 但 在 大 多 数 情况 下 ， 一 般 企业 没有 能 力 再 建 一 个 数据 
中 心 来 获得 额外 的 资源 能 力 。 这 种 情况 再 加 上 硬件 的 利用 不 足 ， 产 生 了 所 谓 的 服务 


器 整合 技术 ” ， 虚 拟 化 技术 是 其 关键 。 

绿色 节能 措施 。 最 近 ， 许 多 公司 正在 寻找 减少 能 源 消 耗 以 及 减少 碳 排放 量 的 方法 。 
数据 中 心 是 主要 的 能 源 消 费 者 ， 并 且 持 续 对 环境 产生 影响 。 维 护 数据 中 心 的 运营 不 
仅 涉及 保持 服务 器 运行 ， 还 包括 提供 处 理 机 冷却 所 消耗 的 大 量 能 源 。 设 备 冷 却 对 数 
据 中 心 的 碳 排放 量 有 显著 影响 。 因 此 ， 通 过 服务 器 整合 来 减少 服务 器 的 数量 必然 会 
减少 数据 中 心 的 冷却 影响 和 能 源 消耗 。 虚 拟 化 技术 为 服务 器 整合 提供 了 有 效 的 方法 。 

e 管理 成 本 上 升 。 现 在 能 耗 和 冷却 成 本 已 经 变 得 比 IT 设 备 的 成 本 更 高 。 此 外 ， 随 着 数 

据 中 心 对 服务 器 能 力 需求 增加 ， 管 理 成 本 显著 上 升 。 计 算 机 尤其 是 服务 器 不 是 自己 
运行 ， 而 是 需要 系统 管理 员 对 其 进行 管理 。 常 见 的 系统 管理 任务 包括 硬件 监控 、 更 
换 故 障 设备 、 服 务 咒 设置 和 更 新 、 服 务 器 资源 监控 和 备份 。 这 些 工作 需要 大 量 劳 动 
密集 的 操作 ， 并 且 需 要 管理 的 服务 器 的 数量 越 多 ， 管 理 成 本 就 越 高 。 对 于 给 定 的 工 
作 负 载 ， 虚 拟 化 技术 减少 了 所 需 的 服务 器 数量 ， 从 而 降低 了 管理 成 本 。 

以 上 因素 促进 了 硬件 虚拟 化 以 及 其 他 类 型 的 虚拟 化 方案 的 盛行 。 虚 拟 化 技术 被 人 们 接 
壹 ， 和 首先 是 由 于 基于 虚拟 机 的 编程 语言 的 广泛 传播 。1995 年 Sun 公司 发 布 了 Java， 很 快 得 
到 开发 人 员 认 可 。yJava 小 应 用 程序 (applet) 的 集成 功能 使 Java 成 为 一 个 非常 成 功 的 平台 ， 
2000 年 年 初 ，Java 在 应 用 服务 器 市 场 发 挥 了 重要 作用 ， 从 而 证 明了 现 有 技术 可 以 支持 企业 
级 应 用 程序 执行 。2002 年 ， 微 软 发 布 了 可 替代 Java 技术 的 NET 框架 的 第 一 版 。 与 Java 的 
原理 相同 ，.NET 能 够 支持 多 种 编程 语言 ， 并 可 以 与 其 他 微软 技术 完全 整合 ，.NET 框架 很 快 
成 为 微软 的 主要 开发 平台 ， 并 迅速 被 开发 人 员 采 用 。2006 年 ， 谷 歌 软 件 开发 的 三 种 “官方 
语言 ”中 ，Java 和 Python 都 基于 虚拟 机 模型 。 从 编程 语言 向 虚拟 化 迁移 的 趋势 表明 了 一 个 
重要 事实 : 技术 已 经 准备 好 支持 虚拟 化 解决 方案 了 ， 且 不 会 对 性 能 带 来 显著 的 负面 影响 。 这 
为 更 彻底 地 实现 虚拟 化 技术 铺 平 了 道路 ， 目 前 虚拟 化 已 经 成 为 所 有 数据 中 心 基础 设施 管理 的 
最 基本 条 件 。 


3.2 虚拟 化 环境 特点 


虚拟 化 是 一 个 广义 的 概念 ， 指 的 是 构建 硬件 、 软 件 环境 、 存 储 或 网 络 的 虚拟 环境 。 虚 拟 
化 环境 中 包括 三 个 主要 组 件 : 客户 机 、 主 机 和 虚拟 化 层 。 客 户 机 与 虚拟 化 层 交 互 而 不 与 主机 
交互 ， 表 示 虚 拟 化 的 机 器 。 主 机 是 管理 客户 机 的 原始 环境 。 虚 拟 化 层 负责 重新 创建 相同 的 或 
不 同 的 客户 机 运行 环境 ( 见 图 3-1 )。 

这 种 一 般 性 的 抽象 概念 体现 了 虚拟 化 技术 的 不 同 应 用 和 实现 。 最 直观 和 最 常见 的 是 硬件 
虚拟 化 ， 这 是 虚拟 化 概念 的 最 早 实现 。 在 硬件 虚拟 化 环境 中 ， 客 户 机 是 一 个 包括 操作 系统 
和 已 安装 应 用 程序 的 系统 镜像 。 它 们 被 安装 在 由 虚拟 化 层 控制 和 管理 〈 称 为 虚拟 机 管理 器 ) 
的 虚拟 设备 上 。 主 机 指 物理 硬件 ， 在 某 些 情况 下 指 操作 系统 ， 是 虚拟 机 管理 器 的 运行 环境 。 
在 虚拟 存储 的 情况 下 ， 客 户 机 是 与 虚拟 存储 管理 软件 进行 交互 的 客户 端 应 用 程序 或 用 户 ， 虚 
拟 存储 管理 软件 被 部 署 在 真实 存储 系统 上 。 虚 拟 网 络 的 情况 与 之 相似 : 客户 机 的 应 用 程序 和 
用 户 与 虚拟 网 络 交 互 ， 如 虚拟 专 网 ( VPN)， 由 特定 的 软件 (VPN 客户 端 ) 利用 可 用 的 物理 


O 服务 器 整合 技术 就 是 将 多 个 最 初 部 署 在 不 同 服务 器 的 服务 和 应 用 集成 到 一 台 物 理 服务 器 上 的 技术 。 服 务 融 整 ， 


合 能 够 降低 数据 中 心 的 功 耗 并 解决 硬件 利用 率 不 足 问题 。 
所 “虚拟 化 技术 最 初 是 大 型 机 时 代 的 技术 成 果 。IBM 的 CP/ CMS 大 型 机 首先 引入 硬件 虚拟 化 和 虚拟 机 程序 的 概念 。 
这 些 系 统 能 够 同时 运行 多 个 操作 系统 ， 提 供 了 一 个 向 后 兼容 的 环境 ， 人 允许 客户 运行 其 应 用 程序 的 早期 版 本 。 
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网 络 节点 进行 管理 。VPN 用 于 创建 不 同 物理 网 络 的 虚拟 环境 ， 以 访问 其 中 资源 ， 否 则 将 无 
法 使 用 物理 网 络 的 资源 。 
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图 3-1 虚拟 化 参考 模型 


这 些 不 同 的 虚拟 化 实现 方式 的 共同 特点 是 虚拟 环境 由 软件 编程 创建 。 用 软件 来 模拟 各 种 
环境 的 方法 创造 了 诸多 机 遇 ， 而 之 前 其 吸引 力 不 足 是 由 于 虚拟 化 层 的 开销 过 多 。 今 天 的 技术 
使 得 人 们 可 以 利用 虚拟 化 获 益 ， 并 能 够 充分 利用 虚拟 化 技术 的 优势 ， 这 些 优 势 也 一 直 是 虚拟 
化 解决 方案 的 特点 。 


3.2.1 更 强 的 安全 性 


虚拟 化 技术 能 够 以 完全 透明 的 方式 控制 客户 机 的 执行 ， 这 为 提供 一 个 安全 的 、 可 控 的 执 
行 环境 开辟 了 新 道路 。 虚 拟 机 就 是 客户 机 运行 的 模拟 环境 。 客 户 机 的 所 有 操作 都 针对 虚拟 
机 ， 虚 拟 机 将 会 把 这 些 操作 转换 并 应 用 到 主机 中 。 这 种 间接 的 方法 允许 虚拟 机 管理 器 控制 
和 过 小 客户 机 的 活动 ， 从 而 阻止 一 些 非 正 常 操作 的 执行 。 由 主机 公开 的 资源 可 以 被 客户 机 
隐藏 或 被 简单 地 保护 。 此 外 ， 主 机 包含 的 敏感 信息 可 以 自然 地 隐藏 而 不 需要 配置 复杂 的 安 
全 策略 。 处 理 不 受信 任 的 代码 时 ， 需 要 更 高 的 安全 性 。 例 如 ， 从 网 络 下 载 Java 小 应 用 程序 
运行 在 Java 虚拟 机 ( JVM) 的 沙 箱 版 本 时， 它们 只 能 访问 主机 操作 系统 的 有 限 资源 。JVM 
和 .NET 运行 时 都 为 定制 的 应 用 执行 环境 提供 了 广泛 的 安全 策略 。 硬 件 虚 拟 化 解决 方案 ， 如 
VMware Desktop, Virtual Box 以 及 Parallels 都 可 以 用 定制 的 虚拟 硬件 创建 虚拟 计算 机 ， 并 
能 够 在 虚拟 计算 机 上 安装 新 的 操作 系统 。 默 认 情 况 下 由 虚拟 计算 机 管理 的 文件 系统 完全 从 主 
机 中 分 离 ， 这 是 运行 程序 的 理想 环境 ， 不 会 影响 到 环境 中 的 其 他 用 户 。 


O 术语 沙 箱 是 指 一 个 隔离 的 执行 环境 ， 其 中 的 指令 在 实际 执行 环境 中 翻译 和 执行 之 前 将 被 过 滤 和 封锁 。Java 虚 
拟 机 (SVM) 的 沙 箱 版 本 指 的 是 通过 安全 策略 封锁 潜在 威胁 指令 的 Java 虚拟 机 。 
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3.2.2 ”执行 管理 


执行 环境 的 虚拟 化 不 仅 可 以 提高 安全 性 ， 也 可 以 实现 更 广泛 的 功能 特性 。 共 享 、 聚 合 、 
仿真 和 隔离 是 其 最 相关 的 特征 (OLS 3-2) - 
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图 3-2 ”执行 管理 的 功能 


e +F., 虚拟 化 技术 可 以 在 同一 主机 创建 多 个 独立 的 计算 环境 。 这 样 可 以 开发 没有 被 
元 分 利用 的 客户 机 能 力 。 在 后 面 的 章节 中 会 看 到 ， 共 享 是 虚拟 化 数据 中 心 非常 重要 
的 特征 ， 可 以 减少 活动 服务 器 的 数量 并 降低 能 耗 。 
集成 。 虚拟 化 技术 不 仅 可 以 在 多 个 客户 机 之 间 共 享 物理 资源 ， 也 可 以 聚合 资源 ， 这 
是 两 个 相对 的 过 程 。 一 组 独立 的 主机 可 以 连 在 一 起 ， 作 为 一 个 单一 的 虚拟 主机 呈现 
REP. 此 功能 目 然 适 用 于 分 布 式 计算 的 中 间 件 实现 ， 集 群 管理 软件 就 是 一 个 经 典 
例 季 ， 它 能 够 利用 一 组 同 构 机 器 的 物理 资源 ， 并 将 其 呈现 为 单一 资源 。 
RULE AER, IE 和 
通过 该 程序 可 以 控制 和 调整 提供 给 客户 机 的 环境 。 例 如 ， 主 机 可 以 仿真 完全 不 同 的 
环境 ， 使 得 需要 特定 条 件 的 客户 机 程序 得 以 执行 ， 这 种 特定 环境 在 物理 主机 中 无 法 
实现 。 此 特点 可 以 用 于 测试 ， 一 个 特定 的 客户 机 程序 需要 在 不 同 的 平台 和 架构 上 进 
行 测试 ， 程 序 中 的 很 多 功能 在 开发 时 很 难 验证 。 另 外 ， 硬 件 虚 拟 化 能 够 提供 虚拟 硬 
件 和 仿真 特定 类 型 的 设备 ， 如 用 于 文件 IO 的 小 型 计算 机 系统 接口 (SCSI) 设备 ， 而 
主机 并 没有 安装 该 设备 。 不 满足 当前 系统 要 求 的 旧 软 件 可 以 在 仿真 硬件 上 运行 而 无 
需 更 改 代 码 ， 这 可 以 通过 仿真 需要 的 硬件 架构 或 在 特定 的 操作 系统 沙 箱 内 实现 ， 如 
Windows 95/98 的 MS-DOS 模式 。 仿 真 的 另 一 个 例子 是 街机 游戏 模拟 大 ， 可 以 在 普 
通 的 个 人 电脑 上 玩 街 机 游戏 。 
隔离 。 虚 拟 化 技术 为 客户 机 提供 了 完全 独立 的 可 执行 环境 ， 无 论 是 操作 系统 、 应 用 
程序 还 是 其 他 。 客 户 机 程序 通过 与 抽象 层 交 互 来 执行 任务 ， 该 抽象 层 支 持 对 底层 资 
源 的 访问 。 隔 离 有 许多 好 处 ， 例 如 ， 人 允许 多 个 客户 机 在 同一 主机 上 运行 而 相互 不 影 
响 。 此 外 ， 还 可 将 主机 与 客户 机 分 离 。 虚 拟 机 可 以 过 滤 客 户 机 的 活动 ， 从 而 阻止 对 
主机 造成 损害 的 操作 。 

除了 这 些 特点 ， 虚 拟 化 的 男 一 重要 特性 是 性 能 调整 。 支 持 虚拟 化 的 硬件 和 软件 的 巨大 进 
步 促进 了 该 特性 的 实现 。 通 过 调整 虚拟 环境 资源 的 属性 ， 很 容易 控制 客户 机 的 性 能 。 这 种 特 
性 使 得 我 们 能 更 有 效 地 实现 高 服务 质量 (Qos) 的 基础 设施 ， 以 满足 客户 机 所 要 求 的 服务 等 
级 协议 (SLA)。 例 如 ， 硬 件 虚 拟 化 程序 仅仅 给 客户 机 操作 系统 分 配 一 部 分 主机 内 存 ， 或 是 
设置 虚拟 机 处 理 器 的 最 大 主 频 。 执 行 管理 的 男 一 个 优点 是 可 以 轻松 捕获 客户 机 程序 的 状态 ， 
并 维持 和 重新 执行 。 例 如 ， 虚 拟 机 管理 器 (如 Xen Hypervisor) 能 停止 客户 机 操作 系统 的 执 
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行 ， 将 其 虚拟 镜像 到 另 一 台 计 算 机 ， 以 完全 透明 的 方式 来 重新 执行 。 这 种 技术 称 为 虚拟 机 迁 
移 ， 这 是 虚拟 数据 中 心 的 一 个 重要 特征 ， 用 于 有 效 优化 应 用 需求 。 


3.2.3 ”可 移植 性 


根据 不 同类 型 的 虚拟 化 ， 可 移植 性 的 概念 有 不 同 的 应 用 方式 。 在 硬件 虚拟 化 方式 下 ， 客 
户 机 被 转 成 虚拟 机 镜像 文件 ， 并 在 不 同 虚拟 机 上 安全 地 迁移 和 执行 。 不 考虑 文件 的 大 小 ， 可 
以 很 容易 地 在 不 同 的 计算 机 上 显示 图 像 文 件 。 虚 拟 镜像 通常 是 需要 特定 的 虚拟 机 管理 器 来 执 
行 的 特有 格式 。 在 编程 级 虚拟 化 的 情况 下 ， 由 JVM 或 .NET 运行 时 实现 ， 二 进 制 代码 表示 
的 应 用 程序 组 件 (jar 包 或 组 件 ) 不 需要 重新 编译 就 可 以 在 任何 虚拟 机 上 执行 。 这 使 得 应 用 程 
序 的 开发 周期 更 灵活 ， 其 部 署 也 非常 简单 : 在 大 多 数 情 况 下 ， 某 一 版 本 的 应 用 程序 无 需 改 变 
就 可 以 在 不 同 平台 上 和 运行。 最后， 只 要 具有 虚拟 机 管理 器 ， 可 移植 性 就 使 得 系统 随时 可 以 使 
用 。 通 常 来 讲 ， 不 管 在 哪里 都 不 需要 完全 具备 所 需 的 应 用 和 服务 。 


3.3 虚拟 化 技术 分 类 


虚拟 化 技术 涵盖 了 计算 机 不 同 应 用 领域 的 多 种 仿真 技术 。 对 这 些 技术 的 分 类 有 助 于 更 好 
地 了 解 其 特性 与 应 用 ( 见 图 3-3 )。 
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图 3-3 虚拟 化 技术 分 类 


第 一 种 方法 根据 仿真 的 服务 和 实体 分 类 。 虚 拟 化 主要 用 于 模拟 执行 环境 、 存 储 和 网 络 。 
其 中 ， 执 行 环境 虚拟 化 是 流行 最 早 和 发 展 最 快 的 领域 ， 因 此 值得 我 们 重点 研究 和 进一步 细 
分 。 特 别 是 可 以 按照 所 需要 的 主机 类 型 将 执行 环境 虚拟 化 技术 划分 为 两 大 类 : 进程 级 技术 在 
能 够 完全 控制 硬件 的 操作 系统 上 实现 ; 系统 级 技术 直接 在 硬件 中 实现 ， 不 需要 或 只 需要 很 少 
的 操作 系统 支持 。 根 据 这 两 类 可 以 列 出 为 客户 机 提供 不 同类 型 的 虚拟 计算 环境 的 各 种 技术 : 
硬件 级 虚拟 化 、 操 作 系 统 级 虚拟 化 、 编 程 语言 级 虚拟 化 、 应 用 级 虚拟 化 。 


3.3.1 执行 虚拟 化 


执行 虚拟 化 包含 了 所 有 用 于 模拟 执行 环境 的 技术 ， 该 执行 环境 与 虚拟 层 分 离 。 这 些 技术 
主要 是 为 执行 程序 提供 支持 ， 不 管 是 操作 系统 、 编 译 的 二 进 制 程序 还 是 应 用 程序 。 因 此 ， 执 
行 虚拟 化 可 直接 在 硬件 上 通过 操作 系统 、 应 用 程序 、 动 态 库 或 静态 链接 到 应 用 的 镜像 来 实现 。 
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1. 机 器 参考 模型 

在 不 同 计算 栈 层 建立 虚拟 化 执行 环境 ， 需 要 定义 抽象 层 之 间接 口 的 参考 模型 ， 以 隐藏 实 
现 细节 。 从 这 个 角度 来 讲 ， 虚 拟 化 技术 实际 上 是 替换 其 中 的 某 一 层 ， 并 拦截 对 该 层 的 请 求 。 
因此 ， 层 与 层 之 间 的 独立 性 简化 了 虚拟 化 的 实现 ， 这 只 需要 接口 的 仿真 和 与 底层 之 间 的 适当 
EE. l 

现代 计算 系统 可 以 描述 为 如 图 3-4 所 示 的 参考 模型 。 底 层 硬 件 模型 以 指令 集 架 构 (ISA) 
表示 ，ISA 定义 了 处 理 郝 、 寄 存 器 、 人 存储器、 中 断 管 理 的 指令 集 。ISA 是 硬件 和 软件 的 分 
界线 ， 对 于 操作 系统 开发 者 (系统 ISA) 和 直接 管理 底层 硬件 的 应 用 程序 开发 者 (用户 ISA) 
很 重要 。 应 用 程序 二 进 制 接口 (ABI) 将 操作 系统 层 与 由 操作 系统 管理 的 应 用 程序 和 库 分 隔 
开 来 。ABI 掩盖 了 各 种 细节 ， 如 低级 数据 类 型 、 对 齐 调用 约定 、 可 执行 程序 的 定义 格式 。 系 
统 调用 在 ABI 上 定义 。 该 接口 使 得 应 用 程序 和 库 可 以 在 兼容 ABI 系统 中 实现 可 移植 性 。 抽 
象 模型 的 最 高 层 是 应 用 编程 接口 (API)，API 将 应 用 程序 与 库 和 底层 操作 系统 连接 起 来 。 





图 3-4 ”机 器 参考 模型 


ABI 和 ISA 负责 完成 对 应 用 程序 级 API 的 任何 操作 。 高 层 抽象 被 转化 为 机 器 级 的 指令 ， 


以 执行 处 理 器 支持 的 实际 操作 。 机 器 级 的 资源 ， 如 处 理 器 寄存 器 和 主 存储 器 容量 ， 都 用 来 执 
行 中 央 处 理 单元 (CPU) 的 硬件 级 操作 。 这 种 分 层 方法 简化 了 计算 系统 的 开发 和 实现 ， 并 简 
化 了 多 执行 环境 中 多 任务 的 实现 和 共存 。 事 实 上 ， 此 模型 不 仅 不 需要 完全 理解 整个 计算 技术 
栈 ， 而 且 提 供 了 实现 管理 和 访问 共享 资源 的 最 精简 安全 模型 的 方法 。 

为 此 ， 硬 件 指令 集 被 分 为 不 同 的 安全 等 级 ， 定 义 谁 可 以 对 其 进行 操作 。 首 先 可 以 分 为 特 
权 指 令 和 非特 权 指令 。 非 特权 指令 不 能 改变 共享 资源 的 值 或 状态 ， 用 于 不 受 其 他 任务 干扰 的 
操作 ， 因 为 它们 不 访问 共享 资源 ， 如 浮 点 指令 、 定 点 指令 和 算术 指令 。 特 权 指令 是 在 特定 的 


限制 条 件 下 执行 用 来 访问 共享 资源 的 值 或 状态 的 Paes 
指令 ， 主 要 用 于 敏感 操作 ， 显 示 (行为 敏感 ) 或 (用 户 模式 ) 


修改 (控制 敏感 ) 权限 状态 。 例 如 ， 行 为 敏感 指 
今 是 那些 操作 VO 的 指令 ， 而 控制 敏感 指令 是 改 
AS CPU 寄存 器 状态 的 指令 。 某 些 系统 拥有 不 止 
一 类 特权 指令 ， 因 此 可 以 更 好 地 控制 对 指令 的 访 
问 。 例 如 ， 实 现 权限 等 级 的 基于 环 的 安全 体系 结 
H ( 见 图 3-5 ) 将 特权 级 分 为 4 级 : 0 环 、1 环 、2 
环 、3 环 。0 环 特权 级 别 最 高 ，3 环 特权 级 别 最 低 。 
操作 系统 的 内 核 工作 在 0 环 ，1 环 和 2 环 用 于 操 图 3-5 ”安全 环 和 特权 模式 


最 大 特权 模式 
(管理 员 模 式 ) 
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作 系 统 级 的 服务 ， 用 户 应 用 程序 工作 在 3 环 。 目 前 大 部 分 操作 系统 都 支持 0 环 和 3 环 两 个 层 
次 ， 分 别 对 应 管理 员 模式 和 用 户 模式 。 

目前 所 有 的 系统 都 支持 至 少 两 种 模式 : 管理 员 模 式 和 用 户 模式 。 管 理 员 模式 中 ， 所 有 指 
令 (特权 与 非特 权 ) 可 以 没有 任何 限制 地 执行 。 这 种 模式 也 称 为 主 模式 或 内 核 模 式 ， 通常 用 
于 操作 系统 (或 虚拟 机 管理 程序 ) 对 硬件 级 资源 的 敏感 操作 。 在 用 户 模 式 下 ， 对 机 玫 级 资源 
的 控制 受 限 。 如 果 在 用 户 模式 下 运行 的 代码 调用 特权 指令 ， 将 会 产生 硬件 中 断 和 目 陷 指 令 的 
潜在 风险 。 尽 管 这 样 ， 依 然 存 在 一 些 指令 在 一 些 条 件 下 作为 特权 指令 被 调用 ， 在 其 他 条 件 下 
作为 非特 权 指 令 被 调用 。 

用 户 和 管理 员 模 式 之 间 的 区 别 ， 使 我 们 了 解 了 虚拟 机 管理 程序 (hypervisor) 的 作用 及 其 
由 来 。 从 概念 上 讲 ， 虚 拟 机 管理 程序 在 管理 员 模 式 上 执行 ， 并 使 用 前 级 hyper-。 实 际 上 ， 必 
须 以 管理 员 权 限 运 行 虚拟 机 管理 程序 ， 特 权 和 非特 权 指 令 之 间 的 区 别 为 虚拟 机 管理 器 设计 带 
来 了 挑战 。 所 有 敏感 指令 都 应 在 特权 模式 下 执行 ， 通 过 管理 员 权 限 来 避免 自 陷 。 和 否则 不 可 能 
完全 模拟 和 管理 客户 机 操作 系统 的 CPU 状态 。 然 而 原 有 的 指令 集 不 能 实现 ， 因 为 有 17 条 敏 
感 指令 不 属于 特权 指令 。 这 样 就 不 能 由 单一 虚拟 机 管理 程序 管理 多 操作 系统 的 独立 运行 ， 因 
为 它们 能 够 访问 并 改变 处 理 器 的 特权 状态 ?。 最 近 ISA ( Intel VT 和 AMD Pacifica ) 的 实现 
方案 已 经 解决 了 这 个 问题 ， 方 法 是 将 这 些 指 令 重 新 设计 为 特权 指令 。 

通过 这 个 参考 模型 ， 能 够 探索 和 更 好 地 理解 虚拟 化 执行 环境 的 各 种 技术 及 其 与 系统 其 他 
组 件 的 关系 。 

2. 硬件 级 虚拟 化 

硬件 级 虚拟 化 是 一 种 为 运行 客户 机 操作 系统 的 计算 机 提供 抽象 执行 环境 的 虚拟 化 技术 。 
在 此 模型 中 ， 客 户 机 指 操作 系统 ， 主 机 指 物理 存在 的 计算 机 硬件 ， 虚 拟 机 指 模拟 的 计算 机 ， 
虚拟 机 管理 程序 指 对 虚拟 机 的 监控 管理 ( 见 图 3-6 )。 虚 拟 机 管理 程序 通常 是 一 个 程序 或 者 是 
软件 和 硬件 的 集成 ， 可 以 执行 底层 物理 硬件 的 抽象 。 


客户 机 | 
| = ea 
ad PE | 
管 = | 





图 3-6 ”硬件 虚拟 化 参考 模型 


O 虚拟 机 管理 程序 的 管理 环境 中 ， 所 有 客户 机 操作 系统 的 代码 将 运行 在 用 户 模式 下 ， 以 防止 直接 访问 CPU 的 
状态 。 如 果 有 敏感 指令 以 用 户 模式 被 调用 〈 即 以 非特 权 指 令 执行 )， 那 么 将 不 可 能 完全 隔离 客户 机 操作 系统 . 
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硬件 虚拟 化 也 称 为 系统 虚拟 化 ， 虚 拟 机 支持 完整 的 ISA。 这 与 进程 虚拟 机 是 不 同 的 ， 进 
程 虚拟 机 提供 ABI 支 持 。 

(1) 虚拟 机 管理 程序 

硬件 虚拟 化 最 关键 的 组 件 是 虚拟 机 管理 程序 ， 或 称 为 虚拟 机 管理 器 ( YMM)。 它 能 在 客 
户 机 操作 系统 安装 环境 中 重新 创建 硬件 模拟 环境 。 虚 拟 机 管理 程序 主要 有 两 种 类 型 工 型 和 
MÆ ( 见 图 3-7). 


ee E =. 
ISA = EE 


图 3-7 WE (AL) 和 原始 A) 虚拟 机 ， 此 图 是 两 种 类 型 虚拟 机 管理 程序 的 图 形 表示 


o | 型 的 虚拟 机 管理 程序 直接 在 物理 机 器 上 运行 。 因此， 虚拟 机 管理 程序 代替 操作 系统 
直接 与 底层 硬件 的 ISA 接口 交互 ， 并 且 模 拟 这 个 接口 以 实现 对 客户 机 操作 系统 的 管 
理 。 此 类 虚拟 机 管理 程序 也 称 为 原始 虚拟 机 ， 因 为 它 只 运行 在 本 机 的 硬件 上 。 
o 11 型 的 虚拟 机 管理 程序 依赖 主机 操作 系统 提供 虚拟 化 服务 。 这 意味 着 虚拟 机 管理 程序 
是 由 操作 系统 管理 的 程序 ， 通 过 ABI 与 操作 系统 交互 ， 并 为 客户 机 操作 系统 模拟 虚 
拟 硬件 的 ISA。 此 类 虚拟 机 管理 程序 也 称 为 宿主 虚拟 机 ， 因 为 它 由 操作 系统 托管 。 
从 概念 上 讲 ， 虚 拟 机 管理 器 的 功能 主要 包括 三 个 模块 ( 见 图 3-8 ): 调度 器 、 分 配器 和 解 
释 器 ， 用 于 协调 活动 以 模拟 底层 硬件 。 调 度 器 是 虚拟 机 监控 器 的 入 口 点 ,将 虚拟 机 实例 发 
出 的 指令 分 发 给 分 配 右 或 解释 右 。 分 配 冀 
负责 分 发 要 提供 给 虚拟 机 的 系统 资源 ， 当 
虚拟 机 试图 执行 旨 在 改变 其 硬件 资源 分 配 一 一 
的 指令 时 ， 分 配器 就 由 调度 器 调用 开始 “CISR] -…-- 上 
工作 。 解 释 器 模块 由 一 组 解释 例 程 组 成 ， 
当 虚 拟 机 执行 特权 指令 时 将 会 触发 自 陷 be 
(trap )， 并 执行 相应 的 解释 例 程 。 
虚拟 机 管理 器 的 设计 和 架构 以 及 主机 
底层 硬件 的 设计 ， 决 定 了 硬件 虚拟 化 的 
实现 方式 ， 客 户 机 操作 系统 可 以 透明 地 
在 VMM 上 执行 ， 就 像 在 底层 硬件 上 运行 
一 样 。 有 效 地 支持 虚拟 机 管理 器 虚拟 化 的 
标准 由 Goldberg 和 Popek 于 1974 年 建立 
[23]。 虚 拟 机 管理 器 必须 具备 三 个 特性 : 图 3-8 ”虚拟 机 管理 程序 参考 架构 
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o 等 价 性 。 运 行 于 VMM 的 程序 ， 其 行为 应 与 其 直接 运 本 


一 致 。 、 特 权 指令 
o 资源 控制 。 VMM 对 虚拟 资源 应 该 进行 完全 控 MEN 


制 。 

0 效率 :经常 使 用 的 机 器 指令 应 该 在 没有 VMM 
的 干预 下 执行 。 % 
Ee FE OLE REE, FEE He TU OL ee ae AY EL BY 
ISA 结构 是 关键 。Popek 和 Goldberg 对 指令 集 进行 了 


分 类 ， 并 提出 三 个 定理 ， 定 义 了 有 效 支持 虚拟 化 的 硬 “图 3-9 可 虚拟 化 的 计算 机 ( 左 ) 和 
件 指令 特征 ( 见 图 3-9 )。 人 





定理 3.1 ”对 于 任何 传统 的 第 三 代 计 算 机 ， 只 要 其 敏感 指令 集 是 特权 指令 焦 的 
一 个 子 集 ， 就 可 以 为 其 构建 虚拟 机 管理 器 。 


这 条 定理 指出 ， 所 有 更 改 系统 资源 配置 的 指令 应 该 以 用 户 模 式 产生 一 个 自 陷 ， 并 在 
VMM 控制 下 执行 。 这 使 得 虚拟 机 管理 程序 只 能 有 效 控制 那些 展现 抽象 层 的 指令 ， 同 时 在 执 
行 其 他 指令 时 不 以 性 能 损失 为 代价 。 当 虚拟 机 管理 程序 处 于 最 高 特权 模式 (0 环 ) 时 ， 该 定 
理 始终 保证 了 对 资源 的 有 效 控制 。 非 特权 指令 必须 在 不 受 虚 拟 机 管理 程序 控制 下 执行 。 等 价 
特性 也 得 到 满足 ， 在 这 两 种 情况 下 代码 的 输出 是 一 样 的 ， 因 为 代码 没有 改变 。 


定理 3.2 传统 的 第 三 代 计 算 机 可 以 递归 虚拟 化 ， 条 件 如 下 : 
o 可 虚拟 化 。 
@ 可 以 为 其 建立 一 台 不 具有 任何 时 间 依 赖 性 的 VMM ， 


递归 虚拟 化 是 在 另 一 个 VMM 上 运行 VMM 的 能 力 。 它 允许 虚拟 机 管理 程序 饼 套 ， 只 要 
底层 资源 可 以 容纳 。 可 虚拟 化 硬件 是 递归 虚拟 化 的 前 提 条 件 。 


定理 3.3 “基于 混合 虚拟 化 技术 的 VMM 可 以 在 任何 现 有 传统 第 三 代 计 算 机 上 
构造 ， 只 要 其 用 户 敏感 指令 集 是 特权 指令 集 的 子 集 。 


还 有 另 一 个 术语 一 一 混合 型 虚拟 机 (HVM)， 它 比 虚拟 机 系统 效率 低 。 在 HVM 情况 下 ， 
更 多 的 指令 需要 被 解释 而 不 是 直接 执行 。 所 有 指令 在 虚拟 管理 员 模式 下 都 需要 解释 。 每 当 执 
行 行为 敏感 或 控制 敏感 指令 时 ，HVM 直接 控制 其 执行 或 通过 自 陷 进 行 控制 。 这 里 ， 所 有 敏 
感 指 令 都 由 模拟 的 HVM 控制 。 

这 个 参考 模型 代表 了 最 普遍 的 经 典 虚拟 化 模型 ， 也 就 是 能 够 在 独立 的 环境 中 执行 客户 机 
操作 系统 。 硬 件 虚拟 化 包括 一 些 不 同 的 策略 ,根据 底层 硬件 要 求 、 主 机 的 抽象 以 及 是 否 应 该 
修改 客户 机 来 区 分 。 

(2) 硬件 虚拟 化 技术 

硬件 辅助 虚拟 化 。 这 个 术语 是 指 硬件 提供 架构 支持 、 帮 助 创建 虚拟 机 管理 器 并 允许 客户 
机 操作 系统 独立 运行 。 这 种 技术 最 初 由 IBM System/370 引信。 目前， 支持 硬件 辅助 虚拟 化 
技术 的 平台 扩展 到 x86-64 位 系统 ， 如 Intel VT (以 前 称 为 Vanderpool) 和 AMD V (以 前 称 
为 Pacifica) 。 这 两 家 厂商 的 虚拟 化 技术 扩展 不 同 ， 但 都 是 为 了 减少 用 虚拟 机 管理 程序 模拟 
x86 硬件 的 性 能 损失 。 引 入 硬件 辅助 虚拟 化 技术 之 前 ，x86 硬件 的 虚拟 化 程序 在 性 能 方面 代 
价 昂贵 。 因 为 x86 的 设计 架构 不 符合 Popek 和 Goldberg 提出 的 虚拟 化 规范 要 求 ， 并 且 早 期 
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的 产品 都 是 用 二 进 制 代码 转换 来 获得 敏感 指令 和 提供 模拟 环境 。 如 VMware 虚拟 平台 ， 这 
是 VMware 在 1999 年 推出 的 虚拟 化 技术 ， 开 创 了 x86 虚拟 化 技术 领域 。2006 年 以 后 ， 英 特 
ASA AMD 推出 了 扩展 处 理 器 ， 大 量 的 虚拟 化 解决 方案 都 采用 了 基于 内 核 的 虚拟 机 (KVM), 
VirtualBox, Xen, VMware, Hyper-V, Sun xVM, Parallels 等 。 

完全 虚拟 化 。 完 全 虚拟 化 指 运行 程序 的 能 力 ， 类 似 操作 系统 无 需 修 改 就 可 以 直接 在 虚拟 
机 上 运行 ， 就 像 在 物理 机 上 运行 一 样 ， 即 所 抽象 的 虚拟 机 具有 完全 的 物理 机 特性 。 要 做 到 这 
一 点 ，VMM 必须 模拟 整个 底层 硬件 资源 。 完 全 虚拟 化 的 优点 主要 是 完全 独立 ， 这 可 以 增强 
安全 性 ， 另 于 模拟 不 同系 统 结构 ， 并 使 得 同一 平台 上 的 不 同系 统 可 以 共存 。 而 这 是 许多 虚拟 
化 解决 方案 的 预期 目标 ， 完 全 虚拟 化 也 带 来 了 相关 的 性 能 和 技术 实现 问题 。 一 个 关键 的 挑战 
是 特权 指令 的 拦截 ， 如 IO 指令 ， 因 为 它们 改变 了 主机 提供 资源 的 状态 ， 因 此 必须 在 VMM 
中 运行 。 实 现 完全 虚拟 化 的 简单 方法 是 为 所 有 指令 提供 一 个 虚拟 环境 ， 但 性 能 也 有 一 定 的 限 
制 。 成 功 和 有 效 的 完全 虚拟 化 方法 包括 硬件 和 软件 ， 并 上 且 不 允许 有 潜在 危害 的 指令 直接 在 主 
机 上 执行 ， 这 就 需要 通过 硬件 辅助 虚拟 化 来 协助 完成 。 

半 虚 拟 化 。 这 是 一 种 不 透明 的 虚拟 化 解决 方案 ， 允 许 实现 简化 VMM。 半 虚拟 化 技术 为 
虚拟 机 提供 软件 接口 ， 操 作 系 统 需 要 进行 修改 才能 够 运行 在 半 虚 拟 化 环境 中 。 半 虚拟 化 的 
目标 是 将 对 性 能 要 求 较 高 的 操作 直接 运行 于 主机 上 ， 从 而 减少 托管 运行 的 性 能 损失 ， 使 得 
VMM 更 容易 将 这 些 难 以 虚拟 化 的 操作 迁移 到 主机 上 执行 。 要 利用 此 特性 ， 需 要 修改 客户 机 
操作 系统 ， 并 通过 虚拟 机 软件 接口 重新 映射 和 迁移 性 能 要 求 苛 刻 的 操作 。 如 果 提 供 操 作 系 
统 的 源 代码 就 可 以 采取 此 方式 ， 这 也 是 半 虚 拟 化 技术 开放 源 代 码 并 主要 用 于 学 术 研 究 的 原 
Al, 虽然 这 种 技术 最 早 在 IBM 的 VM 操作 系统 系列 中 得 到 应 用 ,但 半 虚 拟 化 一 词 首 先 在 华 
成 顿 大 学 的 Denali 项 目 [24] 文档 中 被 提出 。 该 技术 已 成 功 应 用 于 Xen， 提 出 了 将 Linux 操 
作 系 统 迁 移 到 Xen 的 虚拟 机 管理 程序 上 运行 的 虚拟 化 方案 。 不 能 移植 的 操作 系统 仍然 可 以 
利用 半 虚 拟 化 ， 使 用 特定 的 设备 驱动 将 指令 运行 于 虚拟 机 管理 程序 提供 的 半 虚 拟 化 应 用 程序 
接口 。Xen 提供 了 在 x86 系统 上 运行 Windows 操作 系统 的 解决 方案 。 其 他 使 用 半 虚 拟 化 技 
本 的 方案 包括 VMWare, Parallels 及 一 些 舱 人 式 和 实时 系统 ， 如 TRANGO、Wind River 和 
XtratuM 。 

部 分 虚拟 化 。 部 分 虚拟 化 技术 对 部 分 底层 硬件 环境 进行 模拟 ， 因 而 不 支持 独立 的 客户 机 
操作 系统 。 部 分 虚拟 化 支持 多 个 应 用 程序 透明 地 运行 ， 但 它 不 具有 操作 系统 运行 于 完全 虚拟 
化 方式 的 所 有 特性 。 部 分 虚拟 化 可 在 分 时 系统 中 实现 地 址 空间 虚拟 化 ， 这 使 得 多 个 应 用 程序 
和 用 户 可 以 在 独立 的 内 存 空 间 中 同时 运行 ， 并 共享 相同 的 硬件 资源 (磁盘 、 处 理 器 和 网 络 )。 
在 技术 发 展 历程 中 ， 部 分 虚拟 化 是 实现 完全 虚拟 化 的 一 个 重要 里 程 碑 ， 曾 应 用 于 试验 平台 
IBM M44/44X。 地 址 空间 的 虚拟 化 是 现代 操作 系统 的 一 个 共同 特征 。 

(3) 操作 系统 级 虚拟 化 

操作 系统 级 虚拟 化 用 来 为 那些 同时 管理 的 应 用 程序 创建 不 同 的 单独 执行 环境 。 不 同 于 便 
件 虚拟 化 ， 它 没有 VMM 或 虚拟 机 管理 程序 。 这 种 虚拟 化 在 单一 操作 系统 中 工作 ， 该 操作 系 
统 内 核 支持 多 个 独立 的 用 户 空间 实例 。 内 核 还 负责 在 多 个 用 户 空间 实例 之 间 共 享 系统 资源 ， 
并 且 防 止 实例 间 相 互 影 响 。 用 户 空间 实例 一 般 是 完全 独立 的 文件 系统 视图 ， 包 含 独 立 的 了 正 
地 址 、 软 件 配置 、 设 备 访问 方式 。 支 持 这 种 类 型 虚拟 化 技术 的 操作 系统 通常 是 分 时 操作 系 
统 ， 并 能 提供 更 强 的 命名 空间 和 独立 资源 。 

这 种 虚拟 化 技术 可 看 作 是 UNIX 系统 中 chroot 机 制 的 演变 。chroot 操作 将 一 个 进程 及 其 
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子 进程 的 文件 系统 根 目录 改变 到 一 个 指定 目录 。 因 此 ， 该 进程 和 子 进程 只 能 访问 新 的 根 目 录 
下 的 文件 系统 。 因 为 UNIX 系统 把 设备 作为 文件 系统 的 部 件 ， 所 以 使 用 该 方法 可 以 完全 隔离 
一 组 进程 。 按 照相 同 的 原理 ， 操 作 系 统 级 虚拟 化 将 应 用 程序 运行 于 独立 的 多 个 执行 容 左 中 。 
与 硬件 虚拟 化 相 比 ， 这 种 策略 几乎 没有 开销 ， 因 为 应 用 程序 可 以 直接 使 用 操作 系统 调用 ， 不 
需要 模拟 执行 环境 。 没 有 必要 像 硬 件 辅助 虚拟 化 技术 一 样 ， 为 了 执行 而 修改 应 用 程序 ， 也 不 
需要 修改 任何 特定 的 硬件 。 另 一 方面 ， 操 作 系 统 级 虚拟 化 不 如 硬件 虚拟 化 技术 灵活 ， 因 为 所 
有 的 用 户 空 间 实例 都 必须 共享 相同 的 操作 系统 。 

此 技术 是 服务 器 整合 的 有 效 解决 方案 ， 多 台 应 用 服务 器 共享 相同 的 技术 : 包括 操作 系 
统 、 应 用 服务 器 体系 结构 和 其 他 组 件 。 不 同 的 服务 器 被 集成 到 一 人 台 物 理 服 务 希 ， 其 中 每 全 服 
务 器 都 运行 在 不 同 的 用 户 空间 ， 并 且 与 其 他 服务 器 完全 隔离 。 

操作 系统 虚拟 技术 的 例子 包括 : FreeBSD Jails, IBM Logical Partition ( LPAR), 
SolarisZones and Containers, Parallels Virtuozzo Containers, OpenVZ, iCore Virtual 
Accounts, Free Virtual Private Server ( FreeVPS) 等 。 这 些 技术 所 提供 的 服务 有 所 不 同 ， 其 
中 大 部 分 基于 UNIX 系统 ， 如 Solaris 和 OpenVZ， 人 允许 不 同 版 本 的 同一 操作 系统 同时 运行 ， 

3. 编程 语言 级 虚拟 化 

编程 语言 级 虚拟 化 主要 用 来 轻松 实现 应 用 程序 的 部 署 和 管理 执行 ， 以 及 跨 不 同 平台 和 操 
作 系 统 的 移植 。 它 包含 一 个 运行 进程 编译 程序 的 二 进 制 代 码 的 虚拟 机 。 编 译 帮 利用 这 种 技 
术 来 产生 抽象 系统 的 二 进 制 机 器 代码 。 这 种 架构 的 特点 因 实 现 方 法 不 同 而 各 不 相同 。 一 般 来 
说 ， 这 些 虚拟 机 组 成 了 简单 的 底层 硬件 指令 集 ， 并 提供 了 一 些 高 级 指令 以 满足 编译 语言 的 特 
性 。 在 运行 时 ， 二 进 制 代码 可 以 被 实时 或 者 及 时 (jitted) “地 解释 或 编译 为 底层 硬件 指令 集 . 

编程 语言 级 虚拟 化 在 计算 机 科学 发 展 史 上 有 很 长 的 历史 ， 最 初 于 1966 年 用 于 基本 组 合 
编程 语言 《BCPL)， 这 种 语言 用 于 编 与 编译 需 ， 是 C 语言 的 原型 之 一 。 使 用 这 种 技术 的 其 他 
例子 有 UCSD 的 Pascal 和 Smalltalk, Sun 公司 1996 年 推出 Java 平 台 后 ， 虚 拟 机 编程 语言 


”再 次 流行 起 来 。Java 最 初创 建 时 是 开发 互联 网 应 用 程序 的 平台 ， 后 来 成 为 首选 的 企业 级 应 用 


开发 技术 之 一 ， 并 围绕 它 形 成 了 开发 者 的 大 型 社区 。Java 虚拟 机 最 初 只 能 执行 用 Java 语言 
编写 的 程序 ， 但 后 来 也 能 处 理 其 他 语言 ， 如 Python, Pascal, Groovy 和 Ruby。 支 持 多 种 编 
程 语 言 的 能 力 是 公共 语言 架构 ( CLI) 的 关键 部 分 ，CLI 属于 NET 框架 规范 。 目 前 Java 平 
台 和 .NET 框架 是 企业 应 用 开发 最 流行 的 技术 。 

Java FI CLI 是 基于 栈 结构 的 虚拟 机 : 抽象 架构 的 参考 模型 是 基于 用 于 完成 操作 的 执行 
栈 结构 。 系 统 编译 器 生成 的 二 进 制 代 码 包 含 了 一 组 指令 ， 这 些 指令 用 来 将 操作 对 象 放 人 栈 、 
执行 操作 并 将 结果 放 在 栈 中 。 此 外 ， 还 包括 调用 方法 、 管 理 对 象 和 类 的 指令 。 基 于 栈 结构 的 
虚拟 机 更 容易 被 解释 ， 语 法 分 析 也 更 简单 ， 因 此 很 容易 移植 到 不 同 的 架构 。 另 一 种 是 基于 寄 
存 器 的 虚拟 机 ， 该 参考 模型 基于 寄存 器 。 这 种 虚拟 机 与 我 们 今天 使 用 的 底层 架构 更 加 接近 。 
Parrot 是 基于 寄存 器 的 虚拟 机 实例 ， 它 最 初 被 设计 为 支持 PERL 的 编程 级 虚拟 机 ， 然 后 推广 
到 动态 语言 的 宿主 执行 。 

编程 级 虚拟 机 也 称 为 进程 虚拟 机 ， 其 主要 优点 是 能 跨 不 同 的 平台 提供 统一 执行 环境 。 被 


© jitted 这 个 词 是 just-in-time (JIT) 的 缩写 ， 非 常 通用 。 它 是 指 调用 方法 时 将 方法 的 二 进 制 代码 编译 为 底层 机 
器 代码 的 特定 执行 策略 ， 也 就 是 恰好 及 时 。 编 程 级 虚拟 化 最 初 的 实现 是 基于 指令 译 码 ， 这 将 减 慢 执行 速度 。 
JIT 编译 的 优点 是 已 编译 的 机 器 代码 在 未 来 采用 相同 方式 调用 时 可 以 重复 使 用 。 实 现 JIT 编译 的 虚拟 机 一 般 
用 方法 缓存 来 存储 每 个 方法 生成 的 代码 ， 且 只 在 调用 方法 触发 编译 之 前 查询 该 缓存 。 
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编译 的 二 进 制 代码 程序 可 在 任何 操作 系统 和 平台 上 执行 ， 只 要 该 操作 系统 和 平台 部 署 了 可 
以 执行 代码 的 虚拟 机 。 从 开发 周期 的 角度 来 看 ， 该 方法 简化 了 开发 和 部 署 工 作 ， 因 为 不 需要 
提供 相同 代码 的 不 同 版 本 。 虚 拟 机 在 不 同 平台 上 的 实现 仍然 是 一 个 高 代价 的 任务 ， 但 只 需 做 
一 次 ， 而 且 不 是 针对 所 有 的 应 用 程序 。 此 外 ， 进 程 虚拟 机 支持 更 多 的 程序 控制 ， 因 为 其 不 允 
许 直 接 访问 内 存 。 安 全 是 编程 语言 虚拟 机 的 另 一 个 优势 。 通 过 过 滤 的 IO 操作 ， 进 程 虚拟 机 
可 以 很 容易 地 支持 应 用 程序 的 沙 箱 操 作 。 例 如 ，Java 和 NET 提供 了 灵活 的 安全 策略 和 代码 
访问 安全 框架 。 这 些 优势 都 是 以 性 能 为 代价 的 。 虚 拟 机 编程 语言 比 编译 为 实际 系统 语言 的 
性 能 差 ， 但 这 种 性 能 差异 正在 变 得 越 来 越 小 ， 并 且 处 理 器 的 高 运算 能 力 使 得 这 种 差异 不 再 
重要 。 
这 种 模式 的 实现 也 称 为 高 层次 虚拟 机 ， 因 为 高 层 编 程 语言 被 编译 成 I SA， 并 进一步 将 
ISA 解释 或 动态 地 翻译 成 主机 平台 的 具体 指令 。 
4. 应 用 级 虚拟 化 
当 原 有 环境 不 支持 应 用 所 需 特 性 时 ， 应 用 虚拟 化 技术 为 此 应 用 提供 了 虚拟 的 运行 环境 。 
在 这 种 情况 下 ， 应 用 程序 虽然 未 安装 在 预期 的 运行 环境 中 ， 但 却 像 运行 在 其 中 一 样 。 一 般 情 
况 下 ， 这 些 技术 大 多 涉及 局 部 文件 系统 、 库 和 操作 系统 部 件 模拟 。 该 模拟 是 负责 执行 应 用 的 
程序 或 操作 系统 组 件 层 ， 也 可 用 于 执行 基于 不 同人 硬件 系统 而 编译 的 程序 二 进 制 代 码 。 在 这 种 
o 解释 。 在 这 种 技术 中 ， 每 一 条 指令 都 由 模拟 器 解释 成 能 执行 的 ISA 指令 ， 这 将 导致 
性 能 下 降 。 解 释 过 程 开销 很 大 ， 因 为 每 条 指令 都 要 被 模拟 。 
e 二 进 制 翻 译 。 在 这 种 技术 中 ， 每 一 条 源 指令 转换 为 具有 同等 功能 的 本 地 指令 。 许 多 
指令 翻译 后 被 缓存 并 可 以 重新 使 用 。 二 进 制 翻译 的 初始 开销 较 大 ， 但 经 过 一 段 时间 
后 性 能 会 提高 ， 因 为 以 前 翻译 过 的 指令 块 可 以 直接 执行 。 
如 上 所 述 ， 模 拟 与 硬件 级 虚拟 化 不 同 。 前 者 只 是 针对 不 同 硬件 的 编译 程序 的 执行 ， 而 后 
者 可 模拟 完整 的 硬件 环境 ， 并 可 以 在 其 中 安装 整个 操作 系统 。 
当主 机 操作 系统 缺少 库 时 ， 应 用 程序 虚拟 化 是 很 好 的 解决 方案 ， 在 这 种 情况 下 ， 蔡 代 库 
可 以 与 应 用 程序 链接 ， 或 库 的 调用 可 以 重新 映射 到 主机 系统 的 已 有 功能 函数 。 另 一 优点 是 ， 
虚拟 机 管理 器 要 简单 得 多 ， 因 为 与 硬件 虚拟 化 相 比 ， 应 用 程序 虚拟 化 仅 提 供 运 行 环境 的 部 分 
模拟 。 此 外 ， 这 种 技术 可 以 运行 不 兼容 的 应 用 程序 。 与 虚拟 机 跨 应 用 开发 的 编程 级 虚拟 化 技 
术 相 比 ， 应 用 级 的 虚拟 化 提供 了 运行 应 用 程序 的 特定 环境 。 
Wine 是 最 流行 的 应 用 程序 虚拟 化 方案 ， 人 允许 UNIX 操作 系统 执行 基于 Windows 编写 
的 程序 软件 。Wine 中 软件 应 用 的 容器 为 Winelib， 包 括 客户 机 应 用 程序 集合 和 库 集 ， 开 发 
人 员 可 以 用 它 来 编译 应 用 程序 以 便 移植 到 UNIX 系统 。Wine 的 灵感 来 自 Sun 的 一 款 产品 ， 
Windows 应 用 程序 二 进 制 接口 ( WABI)， 它 是 在 Solaris 上 实现 Win 16 API 的 规范 。 类 似 的 
Mac OS X 环境 的 解决 方案 是 CrossOver， 支 持 直 接 在 Mac OS X 操作 系统 上 运行 Windows 
应 用 程序 。VMware ThinApp 是 应 用 虚拟 化 的 另 一 款 产品 ， 它 将 安装 的 应 用 程序 封 阔 成 与 主 
机 操作 系统 无 关 的 可 执行 镜像 文件 。 


3.3.2 ”其 他 类 型 的 虚拟 化 


除 执行 环境 虚拟 化 外 ， 其 他 类 型 的 虚拟 化 提供 了 可 交互 的 抽象 环境 ， 主 要 包括 存储 、 网 
络 以 及 客户 端 /服务器 交互 的 虚拟 化 。 
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1. 存储 虚拟 化 

存储 虚拟 化 是 一 种 系统 管理 方法 ， 能 够 将 硬件 的 物理 结构 表示 为 逻辑 形式 。 使 用 这 种 技 
术 时 ， 用 户 不 必 担 心 其 数据 的 特定 位 置 ， 只 需 使 用 逻辑 路 径 来 标识 。 人 存储 虚拟 化 使 得 我 们 能 
利用 大 量 的 存储 设备 ， 并 在 单一 的 逻辑 文件 系统 下 管理 和 描述 这 些 存 储 设备 。 有 许多 存储 虚 
拟 化 技术 ， 其 中 最 常见 的 是 基于 网 络 的 虚拟 化 ， 即 存储 区 域 网 络 (SAN). SAN 通过 高 速 带 
宽 连 接 网 络 设备 来 提供 存储 能 力 。 

2. 网 络 虚拟 化 

网 络 虚拟 化 技术 将 硬件 设备 和 特定 的 软件 结合 以 创建 和 管理 虚拟 网 络 。 网 络 虚 拟 化 将 不 
同 的 物理 网 络 集成 为 一 个 逻辑 网 络 (外 部 网 络 虚 拟 化 ) 或 让 操作 系统 分 区 具有 类 似 于 网 络 的 
功能 (内 部 网 络 虚 拟 化 )。 外 部 网 络 虚 拟 化 通常 是 一 个 虚拟 局 域 网 (VLAN)。VLAN 是 主机 
的 集合 ， 主 机 之 间 相 互通 信 ， 就 像 位 于 同一 个 广播 域 下 。 内 部 网 络 虚拟 化 通常 与 硬件 和 操作 
系统 级 虚拟 化 一 起 应 用 ， 为 客户 机 提供 虚拟 的 通信 和 网络 接口 。 有 几 种 方式 可 实现 内 部 网 络 虚 
Wie: 客户 机 共享 主机 的 相同 网 络 接口 ， 并 使 用 网 络 地 址 转换 (NAT) 来 访问 网 络 ; 虚拟 机 
管理 器 可 以 安装 在 主机 、 网 络 设 备 或 者 驱动 上 ; 或 者 客户 机 拥有 一 个 专用 网 络 。 

3. 桌面 虚拟 化 

果 面 虚拟 化 技术 将 个 人 电脑 的 桌面 环境 抽象 化 ， 以 便 采 用 客户 端 /服务 器 的 方式 来 访 
问 。 果 面 虚拟 化 与 硬件 虚拟 化 具有 同样 的 虚拟 化 环境 ， 但 服务 目的 不 同 。 类似 于 硬件 虚拟 
化 ， 桌面 虚拟 化 可 以 访问 不 同 的 系统 ， 就 好 像 它 们 都 安装 在 本 地 主机 上 一 样 ， 实 际 上 该 系统 
存储 在 不 同 的 远程 主机 上 ， 并 通过 网 络 连接 来 访问 。 此 外 ,桌面 虚拟 化 实现 了 从 任何 地 方 都 
可 以 访问 相同 的 桌面 环境 。 尽 管 桌面 虚拟 化 严格 意义 上 是 指 远程 访问 桌面 环境 的 能 力 ， 但 通 
党 这 个 桌面 环境 是 被 存储 在 远程 服务 器 或 数据 中 心 ， 该 数据 中 心 能 提供 高 可 用 性 基础 设施 并 
确保 数据 的 可 访问 性 和 持久 性 。 

在 这 种 情况 下 ， 支 持 硬 件 虚拟 化 的 设备 非常 重要 ， 它 能 访问 托管 在 同一 台 服 务 器 上 的 多 
个 果 面 环境 。 特 定 的 桌面 环境 存储 在 虚拟 机 镜像 中 ， 在 客户 端 连接 到 桌面 环境 时 ， 按 需 进 
行 加 载 和 启动 。 这 是 典型 的 云 计算 场景 ， 用 户 利用 虚拟 化 设备 执行 其 计算 机 上 的 日 常任 务 。 
介面 虚拟 化 的 优点 是 高 可 用 性 、 持 久 性 、 可 访问 性 和 易于 管理 。 正 如 4.5.4 节 将 要 讨论 的 ， 
安全 问题 阻碍 了 桌面 虚拟 化 技术 的 应 用 。 用 于 远程 访问 桌面 环境 的 基本 服务 的 软件 组 件 包 
括 : Windows Remote Services. VNC 以 及 X Server。 基 于 云 计 算 的 桌面 虚拟 化 基础 设施 包 
#4: Sun Virtual Desktop Infrastructure ( VDI), Parallels Virtual Desktop Infrastructure ( VDI), 
Citrix XenDesktop 等 。 

4. 应 用 服务 器 虚拟 化 

通过 使 用 负载 均衡 策略 和 为 应 用 服务 器 中 的 服务 提供 高 可 用 人 性 的 基础 设施 ， 应 用 服务 器 
应 拟 化 技术 将 多 台 提 供 相同 服务 的 应 用 服务 器 抽象 成 一 台 虚 拟 应 用 服务 器 。 这 是 虚拟 化 的 具 
体形 式 ， 与 存储 虚拟 化 有 相同 的 目的 : 提供 更 好 的 服务 质量 ， 而 不 仅 是 模拟 一 个 不 同 的 环境 。 


3.4 虚拟 化 和 云 计 算 


虚拟 化 在 云 计算 中 扮演 着 重要 的 角色 ， 因 为 虚拟 化 能 够 支持 适当 的 可 定制 特性 、 安 全 
性 、 独 立 性 和 可 管理 性 ， 这 些 都 是 按 需 提 供 IT 服务 最 基本 的 特性 。 虚 拟 化 技术 主要 用 于 提 
供 可 配置 的 计算 环境 和 存储 。 网 络 虚拟 化 的 应 用 不 太 广泛 ， 大 多 数 情况 下 只 是 构建 虚拟 计算 
机 系统 时 提供 的 附加 功能 。 
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更 重要 的 是 虚拟 计算 环境 和 执行 虚拟 化 技术 所 发 挥 的 作用 。 其 中 ， 硬 件 和 编程 语言 的 虚 
拟 化 是 云 计算 系统 所 采用 的 技术 。 硬 件 虚拟 化 是 提供 基础 设施 即 服务 (aas) 的 产品 解决 方 
案 ， 而 编程 语言 的 虚拟 化 是 用 于 平台 即 服务 (PaaS) 的 技术 。 这 两 种 情况 下 ， 提 供 可 定制 的 和 
沙 箱 环 境 的 能 力 为 企业 带 来 了 机 会 ， 使 企业 拥有 能 够 维持 和 处 理 庞 大 工作 负载 的 大 型 计算 基 
础 议 施 。 此 外 ， 虚 拟 化 支持 独立 性 和 控制 能 力 ， 从 而 简化 服务 的 契约 及 服务 供应 商 的 责任 。 

除了 提供 所 需 的 计算 资源 ， 虚 拟 化 也 可 以 通过 整合 手段 透明 地 为 云 计算 服 务 用 户 设计 出 
更 高 效 的 计算 系统 。 虚 拟 化 允许 创建 独立 和 可 控 的 环境 ， 可 以 在 这 些 环境 中 使 用 相同 的 资源 
而 互 不 干扰 。 如 果 底 层 资 源 有 足够 的 能 力 ， 则 不 需 共 享 。 对 于 资源 未 充分 利用 的 情况 ,虚拟 
化 特别 有 吸引 力 ， 通 过 在 较 少 数量 的 资源 上 建立 虚拟 机 来 减少 活动 资源 数 并 充分 利用 资源 ， 
这 种 方法 也 称 为 服务 器 整合 ， 而 虚拟 机 实例 的 移动 则 称 为 虚拟 机 迁移 ( 见 图 3-10 )。 由 于 虚 
拟 机 实例 处 于 可 探 环 境 ， 所 以 无 论 是 暂时 停止 其 执行 并 移动 数据 到 新 的 资源 ， 还 是 通过 控制 
在 运行 时 移动 其 实例 ， 资 源 整 合 都 不 会 产生 什么 影响 。 在 运行 时 移动 实例 称 为 动态 迁移 ， 一 
般 更 难 实现 ， 却 更 加 有 效 ， 因 为 虚拟 机 实例 的 活动 从 未 中 断 ” 。 
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(运行 中 ) 
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> (运行 中 ) 


服务 器 A 
(运行 中 ) 





图 3-10 “实时 迁移 和 服务 器 整合 


O 注意 ， 云 计算 对 开发 按 需 扩展 的 应 用 程序 非常 重要 。 在 大 多 数 情况 下 ， 应 用 程序 必须 处 理 不 断 增加 的 负载 或 
为 更 多 的 请 求 服务 ， 这 使 得 它们 成 为 服务 器 应 用 程序 。 显 而 易 见 ， 在 这 种 情况 下 实时 迁移 提供 了 一 个 更 好 的 
解决 方案 ， 因 为 它 不 会 在 服务 整合 过 程 中 产生 任何 中 断 。 
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服务 器 整合 和 虚拟 机 迁移 主要 用 于 硬件 虚拟 化 ( 见 图 3-9 )， 尽 管 其 也 可 用 于 编程 语言 虚 
拟 化 。 

存储 虚拟 化 通常 是 执行 环境 虚拟 化 的 补充 。 即 使 在 这 种 情况 下 ,拥有 大 型 计算 设备 的 供 
应 商 也 能 够 利用 其 设备 的 巨大 存储 能 力 提供 虚拟 存储 服务 ， 并 可 以 轻松 地 分 片 。 每 个 存储 切 
片 都 可 以 动态 地 作为 服务 来 提供 ， 还 可 以 确保 主机 设备 的 安全 性 ， 因 为 很 容易 确定 每 一 分 请 
服务 的 责任 。 

最 后 ， 云 计算 改变 了 桌面 虚拟 化 的 概念 ， 这 一 概念 最 早 在 大 型 机 时 代 提 出 。 重 新 按 需 创 
建 从 基础 设施 到 应 用 服务 的 整个 计算 栈 的 能 力 ， 使 用 户 能 够 从 瘦 客 户 端 经 由 互联 网 络 来 访问 
托管 在 供应 商 设 备 中 的 虚拟 计算 机 。 


3.5 mH Se 


现在 ， 虚 拟 化 技术 已 经 非常 流行 且 应 用 广泛 ， 尤 其 是 在 云 计 算 环 境 中 ， 其 主要 原因 是 攻 
破 了 过 去 虚拟 化 技术 缺乏 有 效 性 和 可 行 性 的 技术 壁垒 。 最 直接 的 技术 障碍 是 性 能 问题 。 如 
S, 互联 网 的 普及 和 计算 技术 的 进步 使 得 虚拟 化 能 够 按 需 提供 IT 基础 设施 和 服务 。 尽 管 虚 
拟 化 技术 再 度 流行 ,但 是 这 种 技术 在 发 挥 其 优势 的 同时 也 存在 缺点 。 


3.5.1 虚拟 化 技术 的 优点 


执行 的 可 控 性 和 独立 性 是 虚拟 化 的 最 重要 的 优点 。 在 技术 支持 创建 虚拟 执行 环境 的 情况 
下 ， 利 用 这 两 个 特点 可 以 构建 安全 可 控 的 计算 环境 。 虚 拟 执行 环境 可 以 配置 为 沙 箱 ， 从 而 
防止 任何 非法 操作 进入 虚拟 主机 。 此 外 ， 资 源 在 不 同 客 户 机 之 间 的 分 配 被 简化 为 由 程序 控制 
的 虚拟 主机 来 完成 。 这 样 能 够 按照 服务 质量 的 要 求 调 度 资源 ， 这 在 服务 器 整合 方案 中 非常 
重要 。 

可 移植 性 是 虚拟 化 的 另 一 个 优点 ， 特 别 是 对 于 执行 虚拟 化 技术 。 虚 拟 机 实例 通常 表示 为 
可 由 物理 机 传送 的 一 个 或 多 个 文件 。 此 外 ， 这 些 实例 往往 是 自 包含 的 ， 除 了 其 使 用 的 虚拟 机 
管理 天 之 外 ， 没 有 其 他 依赖 关系 。 可 移植 性 和 自 包 含 性 简化 了 管理 。Java 程序 “一 次 编译 ， 
多 次 运行 ” ， 只 需要 在 主机 上 安装 Java 虚拟 机 。 这 同样 适用 于 硬件 级 的 虚拟 化 。 事 实 上 ,无 
论 在 哪里 ， 只 要 有 笔记 本 电脑 ， 就 可 以 在 虚拟 机 实例 中 建立 执行 环境 。 这 个 概念 也 推动 了 服 
务 郁 整合 方案 的 迁移 技术 的 发 展 。 

可 移植 性 和 自 包含 性 也 有 助 于 减少 维护 成 本 ， 因 为 预期 的 主机 数量 比 虚拟 机 实例 的 数量 
少 。 客 户 机 程序 在 虚拟 环境 中 执行 ， 所 以 几乎 不 可 能 破坏 底层 硬件 。 此 外 ， 虚 拟 机 管理 器 的 
数目 要 少 于 被 管理 的 虚拟 机 实例 的 数量 。 

最 后 ， 通 过 虚拟 化 技术 能 够 更 有 效 地 利用 资源 。 多 个 系统 可 以 安全 地 共存 并 共享 底层 主 
机 的 资源 ， 而 且 不 会 相互 干扰 。 这 是 服务 器 整合 的 首要 条 件 ， 根 据 当 前 系统 负载 动态 地 调整 
物理 资源 的 数量 ， 从 而 减少 能 耗 且 减轻 对 环境 的 影响 。 


3.5.2 ”虚拟 化 技术 的 缺点 


虚拟 化 技术 也 有 缺点 。 最 明显 的 是 由 于 虚拟 化 层 协调 资源 而 导致 客户 机 系统 性 能 下 降 。 
此 外 ， 由 于 虚拟 化 管理 软件 抽象 层 而 引起 主机 没有 被 优化 使 用 ， 使 得 主机 利用 率 低 或 降低 了 
用 户 服务 质量 。 不 明显 但 是 更 加 危险 的 是 隐 含 的 安全 问题 ， 这 大 多 是 由 于 模拟 不 同 的 执行 环 
境 所 产生 的 。 
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1. 性 能 降低 

性 能 问题 是 使 用 虚拟 化 技术 所 需 关 注 的 主要 问题 之 一 。 由 于 虚拟 化 在 客户 机 和 主机 之 间 
增加 了 抽象 层 ， 这 将 增加 客户 任务 的 操作 延迟 。 

例如 ， 在 硬件 虚拟 化 情况 下 ， 当 模拟 一 个 可 以 安装 完整 系统 的 裸 机 时 ， 性 能 降低 归咎 于 
下 列 活 动产 生 的 开销 : 

o 维持 虚拟 处 理 器 的 状态 。 

e 文 持 特权 指令 ( 自 陷 和 模拟 特权 指令 )。 

e 支持 虚拟 机 分 页 。 

e 控制 台 功 能 。 

此 外 ， 当 硬件 虚拟 化 是 通过 在 主机 操作 系统 上 安装 或 执行 的 程序 实现 时 ， 性 能 降低 的 主 
要 原 因 是 虚拟 机 管理 器 同 其 他 应 用 程序 一 起 被 执行 和 调度 ， 从 而 共享 主机 的 资源 。 

更 融 层 的 虚拟 化 技术 也 有 类 似 的 问题 ， 如 在 编程 语言 级 虚拟 化 情况 下 (Java、.NET 等 )。 
二 进 制 翻译 和 解释 也 降低 应 用 程序 的 执行 速度 。 此 外 ， 由 于 其 执行 被 运行 环境 过 滤 ， 访问 存 
储 器 和 其 他 物理 资源 也 会 导致 性 能 降低 。 

由 于 技术 进步 以 及 计算 能 力 的 提升 ， 这 些 问 题 变 得 不 再 突出 。 例 如 ， 用 于 硬件 虚拟 化 的 
特定 技术 ， 如 半 虚 拟 化 技术 ， 可 以 提高 客户 机 程序 的 性 能 ， 无 需 修 改 便 可 将 客户 机 上 的 大 部 
分 执行 任务 迁移 到 主机 上 。 编程 级 的 虚拟 机 ， 如 JVM 或 .NET， 当 性 能 要 求 比较 高 时 ， 可 以 
选择 编译 本 地 代码 。 

2. 低 效 和 用 户 体 验 下 降 | 

虚拟 化 有 时 会 导致 主机 的 低 效 使 用 。 特 别 是 当 某 些 主机 的 特定 功能 不 能 由 抽象 层 展现 ， 
进而 变 得 不 可 访问 时 。 在 硬件 虚拟 化 环境 中 ， 设 备 驱动 程序 可 能 会 出 现 这 种 情况 ， 虚 拟 机 有 
时 仅仅 提供 只 映射 主机 部 分 特性 的 默认 图 形 卡 。 在 编程 级 虚拟 机 环境 中 ， 一 些 底层 的 操作 系 
统 特性 变 得 不 可 访问 ， 除 非 使 用 特定 的 库 。 例 如 ， 在 Java 第 一 版 本 中 ， 图 形 化 编程 的 支持 
是 非常 有 限 的 ， 应 用 程序 的 界面 和 使 用 感觉 非常 差 。 用 于 设计 用 户 界 面 的 Swing 新 框架 解决 
了 这 个 问题 ， 在 软件 开发 工具 包 中 集成 了 OpenGL 库 ， 加 强 了 图 形 化 功能 。 

3. 安全 漏洞 和 威胁 

虚拟 化 滋生 了 新 的 难以 预料 的 恶意 网 络 钓鱼 (phishing) 8 ， 它 能 够 以 完全 透明 的 方式 模 
拟 主机 环境 ， 使 得 恶意 程序 可 以 从 客户 机 提取 敏感 信息 。 

在 硬件 虚拟 化 环境 中 ， 恶 意 程序 可 以 在 操作 系统 之 前 预 安 装 ， 并 作为 一 个 微 虚拟 机 管理 
器 。 这 样 该 操作 系统 就 可 以 被 控制 和 操纵 ， 并 从 中 提取 敏感 信息 给 第 三 方 。 这 类 恶意 软件 包 
括 BluePill 和 SubVirt。BluePill 针对 AMD 处 理 器 系列 ， 将 安装 的 操作 系统 的 执行 移 到 虚拟 
机 中 完成 。 微 软 与 美国 密歇根 大 学 合作 研发 的 SubVirt 早期 版 本 是 原型 系统 。SubVirt 影响 
客户 机 操作 系统 ， 而 当 虚 拟 机 重新 启动 时 ， 它 将 获得 主机 的 控制 权 。 这 种 类 型 恶意 软件 的 传 
播 是 因为 原来 的 硬件 和 CPU 产品 并 未 考虑 虚拟 化 。 现 有 的 指令 集 不 能 通过 简单 的 改变 或 更 
新 以 适应 虚拟 化 的 需求 。 最 近 ， 英 特 尔 和 AMD 相继 分 别 推出 了 针对 虚拟 化 的 硬件 支持 Intel 
VT 和 AMD Pacifica. 

编程 级 的 虚拟 机 也 存在 同样 的 问题 : 运行 环境 的 改变 可 以 获得 敏感 信息 或 监视 客户 应 用 


O ”网络 钓 鱼 是 用 于 获取 用 户 敏感 信息 (如 用 户 名 和 密码 ) 的 恶意 行为 方法 是 重新 创建 一 个 在 功能 和 外 观 上 与 
管理 这 些 信息 的 环境 相同 的 环境 。 网 络 钓鱼 通常 发 生 在 Web 上 ， 用 户 被 重 定向 到 与 原 有 网 站 一 样 的 恶意 网 
站 ， 目 的 是 要 获得 进入 原 有 网 站 (例如 银行 网 站 ) 的 用 户 信息 ， 从 而 获得 用 户 的 机 密 数据 。 
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程序 所 使 用 的 内 存 位 置 。 这 样 ， 运 行 时 环境 的 原始 状态 将 被 修改 和 替换 ， 如 果 虚 拟 机 管理 程 
序 内 存在 恶意 软件 或 主机 操作 系统 的 安全 漏洞 被 利用 ， 将 会 经 常 发 生 安全 问题 。 


3.6 技术 实例 


广泛 的 虚拟 化 技术 特别 适用 于 虚拟 化 计算 环境 。 在 本 节 中 ,我 们 将 讨论 该 领域 相关 的 技 
术 和 方法 。 云 计算 的 具体 解决 方案 将 在 下 一 章 中 讨论 . 


3.6.1 Xen: 半 虚 拟 化 


Xen 是 开源 的 基于 半 虚 拟 化 技术 的 虚拟 化 平台 。 由 英国 剑桥 大 学 的 研究 小 组 开发 ， 现 在 
拥有 支持 Xen 的 强大 开源 环境 。Citrix 还 提供 了 Xen 商业 解决 方案 XenSource。 基 于 Xen 的 
技术 可 用 于 桌面 虚拟 化 以 及 服务 器 虚拟 化 ， 最 近 利 用 Xen 云 平 台 (XCP) 还 可 提供 云 计算 解 
决 方案 。 这 些 解决 方案 的 基础 是 作为 Xen 核心 技术 的 虚拟 机 管理 程序 。 最 近 Xen 已 经 使 用 
硬件 辅助 虚拟 化 技术 支持 完全 虚拟 化 。 

Xen 是 最 流行 的 半 虚 拟 化 实现 技术 ， 与 完全 虚拟 化 相 比 ， 它 支持 客户 操作 系统 的 高 性 能 
运行 。 需 要 执行 特殊 管理 指令 时 ，Xen 能 减少 性 能 损失 ， 这 是 通过 修改 涉及 该 指令 执行 的 
Xen 客户 机 操作 系统 来 实现 的 。 因 此 ， 它 不 是 实现 虚拟 化 的 透明 方案 ， 尤 其 是 对 于 x86 系列 
商品 机 和 服务 器 。 

图 3-11 描述 了 Xen 的 结构 及 其 在 传统 x86 特权 模型 上 的 应 用 。 基 于 Xen 的 系统 由 Xen 
虚拟 机 管理 程序 管理 ， 在 最 高 特权 模式 下 运行 ， 并 控制 客户 机 操作 系统 对 底层 硬件 的 访问 。 
客户 机 操作 系统 都 作为 虚拟 机 实例 在 域内 执行 。 此 外 ， 能 访问 主机 并 控制 所 有 其 他 客户 机 操 
作 系统 的 特定 控制 软件 在 域 0 执行 。 当 虚拟 机 管理 器 已 经 完全 启动 时 ， 首 先 加载 域 0， 配置 


” 超 文 本 传输 协议 ( HTTP) 服务 器 ， 它 可 以 接受 虚拟 机 的 创建 、 配 置 和 终止 请 求 。 该 组 件 包 


含 在 分 布 式 虚拟 机 管理 器 的 初期 版 本 中 ， 是 提供 基础 设施 即 服务 (aas) 的 云 计算 系统 的 重 
要 组 成 部 分 。 





用 户 应 用 
(未 修改 的 ABI) 







管理 域 ( 域 0 ) 
e 虚拟 机 管理 | 
e HTTP 接口 Aa 
e 访问 Xen 虚拟 机 管理 程序 二 








用 户 域 ( 域 U) 

e 客户 机 操作 系统 

e 修改 的 代码 库 

e 虚拟 机 调用 Xen VMM 


中 ”特权 指令 i 
Xen 虚拟 机 管理 程序 
(VMM) 





ea 内 存 管理 
© CPU 状态 寄存 器 
e 设备 输入 /输出 


硬件 (x86 ) 


图 3-11 Xen 结构 及 客户 机 操作 系统 管理 
x86 系统 有 四 种 不 同 的 安全 级 别 ， 称 为 环 ， 其 中 0 环 级 别 最 高 ， 3 环 级 别 最 低 。 几 乎 所 
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有 第 见 的 操作 系统 ( 除 OS/2 外 ) 都 只 支持 两 种 安全 级 别 : 0 环 运 行内 核 代码 ，3 环 是 用 户 应 
用 程序 和 非特 权 操作 系统 的 代码 。 这 样 Xen 可 以 通过 执行 0 环 和 域 0 的 虚拟 机 管理 程序 实 
施 虚 拟 化 ， 其 他 运行 客户 操作 系统 的 域 通常 称 为 域 U， 运 行 在 1 环 ， 而 用 户 应 用 程序 在 3 环 
中 运行 。 这 样 Xen 可 以 保持 ABI 不 变 ， 从 而 从 应 用 程序 的 角度 可 以 很 容易 地 转换 为 Xen 虚 
拟 化 方案 。 在 x86 指令 集 的 结构 中 ， 有 些 指令 允许 在 3 环 执行 的 代码 跳 到 0 环 (内 核 模式 ) 
执行 。 这 样 的 操作 在 硬件 层面 完成 ， 因 此 虚拟 环境 中 会 产生 一 个 自 陷 或 故障 ， 从 而 阻止 客户 
机 操作 系统 的 正常 运行 ， 因 为 其 目前 在 1 环 上 和 运行。 这 种 情况 一 般 由 系统 调用 触发 。 为 了 避 
免 这 种 情况 ， 操 作 系统 需 要 在 执行 过 程 中 改变 模式 ， 而 敏感 系统 调用 需要 重新 由 Xen 虚拟 
机 调用 ， 调 用 后 Xen 的 虚拟 机 管理 程序 能 够 控制 和 管理 所 有 敏感 指令 的 执行 ， 并 通过 所 提 
供 的 处 理 程序 返回 到 客户 机 操作 系统 。 

半 虚 拟 化 再 要 修改 操作 系统 的 代码 库 ， 因 此 并 非 所 有 的 操作 系统 都 可 以 用 于 Xen 环境 。 
更 确切 地 说 ， 当 不 能 利用 人 硬件 辅助 虚拟 化 技术 ， 只 允许 在 1 环 上 运行 虚拟 机 管理 程序 ， 而 在 
0 环 上 运行 客户 机 操作 系统 时 ， 会 出 现 这 种 问题 。 因 此 ，Xen 对 于 传统 硬件 和 操作 系统 表现 
出 一 定 的 局 限 性 ， 而 这 些 操作 系统 不 能 被 安全 地 转 到 1 环 上 运行 ， 因 为 其 系统 代码 库 不 可 访 
问 ， 同 时 ， 底 层 硬 件 不 支持 在 比 0 环 更 高 特权 的 模式 下 运行 虚拟 机 管理 程序 。 开 源 操作 系统 
(如 Linux) 很 容易 修改 ， 因 为 其 代码 是 公开 的 ，Xen 完全 支持 其 虚拟 化 。Xen 一 般 不 支持 
Windows 系列 组 件 ， 除 非 可 以 使 用 硬件 辅助 虚拟 化 。 可 以 看 出 ， 这 个 问题 现在 已 经 不 再 突出 
了 ， 因 为 新 版 本 操作 系统 支持 虚拟 化 ， 而 且 新 的 x86 系列 硬件 也 文 持 虚拟 化 。 


3.6.2 VMware: 完全 虚拟 化 


VMware 技术 基于 完全 虚拟 化 的 概念 ， 底 层 硬件 被 复制 并 提供 给 客户 机 操作 系统 ， 客 户 
机 操作 系统 的 运行 与 抽象 层 无 关 ， 也 不 需要 修改 。VMware 可 以 利用 开 型 虚拟 机 管理 程序 实 
现 桌面 环境 的 完全 虚拟 化 ， 或 者 在 服务 器 环境 利用 工 型 虚拟 机 管理 程序 实现 完全 虚拟 化 。 这 
两 种 情况 都 是 通过 直接 执行 (对 于 非 敏 感 指令 ) 和 二 进 制 翻译 (对 于 敏感 指令 ) 的 方式 实现 
完全 虚拟 化 ， 因 而 也 支持 x86 系统 的 虚拟 化 。 

除了 这 两 种 核心 解决 方案 ，VMware 还 提供 其 他 工具 和 软件 以 简化 虚拟 化 技术 的 应 用 。 
在 桌面 环境 中 ， 集 成 虚拟 客户 机 与 主机 工具 ; 在 服务 器 环境 中 ， 建 立 和 管理 虚拟 计算 基础 设 
施 的 解决 方案 。 

1. 完全 虚拟 化 和 二 进 制 翻 译 

VMware 支持 x86 系统 虚拟 化 ， 在 运行 虚拟 机 管理 程序 时 无 需 做 任何 修改 。 随 着 2006 
年 出 现 的 新 一 代 硬 件 架构 和 硬件 辅助 虚拟 化 技术 (Intel VT-x 和 AMD V)， 在 硬件 的 支持 下 
全 虚拟 化 得 以 实现 。 但 在 此 之 前 ， 动 态 二 进 制 翻译 是 使 得 x86 客户 机 操作 系统 无 需 修 改 就 可 
以 在 虚拟 环境 中 运行 的 唯一 解决 方案 。 

如 之 前 所 讨论 的 ，x86 系统 设计 不 满足 虚拟 化 第 一 定理 ， 因 为 它 的 敏感 指令 集 不 是 特权 
指令 的 子 集 。 当 该 指令 不 在 0 环 上 执行 时 ， 将 产生 不 同 的 结果 ， 这 是 客户 机 操作 系统 运行 
于 1 环 的 常见 虚拟 化 情况 。 通 常 系统 会 产生 自 陷 ， 其 管理 方式 与 x86 系统 虚拟 化 不 同 。 在 动 
态 二 进 制 翻译 时 ， 自 陷 将 错误 指令 翻译 成 实现 同样 目的 的 等 效 指令 集 ， 并 且 不 会 产生 异常 。 
此 外 ， 为 了 提高 性 能 ， 这 个 等 效 指令 集会 被 缓存 ， 这 样 出 现 相 同 的 指令 时 就 不 再 需要 转换 。 


图 3-12 描述 了 该 过 程 。 
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客户 机 操作 系统 
。 未 修改 的 代码 库 
。 未 知 虚拟 机 管理 器 






虚拟 机 管理 程序 
o 二 进 制 翻译 
enean 


动态 /缓存 转换 BPE 
(敏感 指令 ) l (敏感 指令 ) 


图 3-12 全 虚拟 化 参考 模型 


这 种 方法 既 有 优点 也 有 缺点 。 最 大 的 优点 是 客户 机 无 需 修 改 就 可 以 在 虚拟 化 环境 中 运 
行 ， 这 对 于 非 开 源 代码 的 操作 系统 是 非常 关键 的 。Windows 系列 操作 系统 便 是 一 个 例 于 。 二 
进 制 翻 译 是 使 全 虚拟 化 更 具有 可 移植 性 的 解决 方案 。 男 一 方面 ， 运 行 时 的 指令 翻译 相对 于 其 
他 方法 ( 半 虚 拟 化 或 硬件 辅助 虚拟 化 ) 产生 了 额外 开销 。 即 使 存在 这 样 的 缺点 ， 二 进 制 翻译 
还 是 应 用 在 部 分 指令 集中 ， 而 其 他 指令 集 则 直接 在 底层 硬件 上 执行 。 这 在 某 种 程度 上 降低 了 
二 进 制 翻译 产生 的 性 能 问题 。 

CPU 虚拟 化 只 是 完全 虚拟 化 硬件 环境 的 一 部 分 。VMware 通过 虚拟 内 存 和 虚拟 输入 / 输 
出 设备 实现 完全 虚拟 化 。 存 储 虚 拟 化 是 虚拟 化 技术 的 男 一 挑战 ， 如 果 没 有 相应 的 硬件 支持 将 
会 严重 影响 性 能 。 主 要 原因 是 内 存 管 理 单 元 (MMU) 需要 被 模拟 为 虚拟 硬件 。 尤 其 是 在 托 
管 虚 拟 机 管理 程序 (IT 类 ) 的 情况 下 ， 其 虚拟 MMU 和 主机 操作 系统 MMU 依次 访问 物理 内 
存 页 ， 对 性 能 产生 了 较 大 影响 。 为 了 避免 指令 重复 舱 套 翻译 ， 虚 拟 MMU 的 转换 后 援 缓冲 
ax (TLB) 直接 映射 到 物理 页 ， 这 样 只 有 TLB 中 不 存在 待 转换 指令 时 性 能 才 会 下 降 。 最 后 ， 
VMware 还 文 持 IO 设备 的 全 虚拟 化 ， 例 如 网 络 控 制 器 和 其 他 外 围 设备 ， 如 键盘 、 和 鼠标 、 磁 
盘 和 通用 串 行 总 线 (USB) 控制 器 。 

2. 虚拟 化 解决 方案 

VMware 是 虚拟 化 技术 的 先驱 ， 提 供 了 从 桌面 计算 虚拟 化 到 企业 计算 虚拟 化 ， 以 及 基础 
设施 虚拟 化 的 全 面 解决 方案 。 

(1) 终端 用 户 CR) 虚拟 化 

VMware 文 持 用 户 计算 机 的 操作 系统 环境 和 应 用 程序 的 虚拟 化 。 操 作 系 统 虚 拟 化 是 最 流 
行 的 ， 并 能 在 独立 于 主机 操作 系统 的 环境 中 安装 各 种 操作 系统 和 应 用 程序 。VMware 系列 软 
(F, VMware Workstation 适用 于 Windows 操作 系统 ，VMware Fusion 适用 于 Mac OS X 
环境 ， 这 些 软件 都 安装 在 主机 操作 系统 中 以 创建 虚拟 机 并 管理 其 执行 。 除 了 能 够 建立 独立 的 
计算 环境 外 ， 这 两 款 产 品 都 允许 客户 机 操作 系统 利用 主机 资源 (USB 设备 、 文 件 夹 共享 、 集 
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成 主机 操作 系统 的 图 形 用 户 界 面 (GUI) )。 这 些 系统 的 体系 结构 如 图 3-13 所 示 。 
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3-13 VMware 工作 站 结构 


虚拟 化 环境 由 安装 在 客户 机 操作 系统 的 应 用 程序 创建 ， 为 这 些 操 作 系统 提供 底层 硬件 全 [99] 


虚拟 化 模式 。 这 是 通过 在 主机 操作 系统 中 安装 特定 的 驱动 程序 实现 的 ， 该 主机 主要 提供 以 下 
两 项 服务 : 

e 配置 在 特权 模式 下 运行 的 虚拟 机 管理 需 。 

e 为 VMware 应 用 程序 提供 处 理 IO 请 求 的 方法 ， 通 过 系统 调用 将 此 IO 请 求 传送 到 主 

机 操作 系统 。 

采用 这 种 架构 (也 称 为 托管 虚拟 机 架构 ) 不 仅 可 以 将 虚拟 机 实例 独立 于 单一 应 用 存储 
空间 内 ， 也 能 提供 合理 的 性 能 ， 因 为 VMware 应 用 程序 只 需要 指令 ， 如 IO 设备 只 用 二 进 
制 翻译 。 可 直接 执行 的 指令 由 虚拟 机 管理 器 管理 ， 虚 拟 机 管理 器 和 主机 操作 系统 交 蔡 控 
制 CPU 和 MMU。 虚拟 机 镜像 文件 保存 在 主机 文件 系统 ，VMware Workstation 和 VMware 
Fusion 都 能 创建 新 的 镜像 、 暂 停 其 执行 、 创 建 快 照 ， 并 可 以 复原 操作 回 到 虚拟 机 之 前 的 

其 他 终端 用 户 计 算 环境 的 虚拟 化 方案 包括 VMware Player、VMware ACE 和 VMware 
ThinApp. VMware Player 是 VMware Workstation 的 简化 版 本 ， 支 持 在 Windows 或 Linux f% 
作 环 境 创 建 和 执行 虚拟 机 。VMware ACE 类 似 于 VMware Workstation, HRA a WAP 
计算 虚拟 化 环境 建立 虚拟 机 策略 。VMware ThinApp 是 应 用 级 虚拟 化 解决 方案 ， 为 应 用 程序 
提供 一 个 独立 的 环境 ， 以 避免 因 版 本 和 不 兼容 而 产生 的 冲突 。 它 可 以 检测 所 有 由 特定 的 应 
用 程序 安装 产生 的 操作 环境 的 变化 ， 并 将 其 与 应 用 程序 一 起 以 二 进 制 分 组 形式 在 VMware 
ThinApp 上 运行 。、 

(2) 服务 器 虚拟 化 

VMware 提供 了 不 同 的 服务 器 虚拟 化 解决 方案 。 最 初 支持 服务 器 虚拟 化 的 是 VMware 
GSX Server， 它 模拟 了 用 户 计算 机 应 用 功能 ， 并 增加 了 远程 管理 和 脚本 功能 。VMware GSX 
Server 的 架构 如 图 3-14 所 示 。 
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3-14 VMware GSX 服务 器 架构 


该 架构 用 于 Web 服务 器 虚拟 化 。 名 为 serverd 的 守护 进程 负责 控制 和 管理 VMware 应 用 
程序 进程 。 这 些 应 用 由 安装 在 主机 操作 系统 的 VMware 驱动 连接 到 虚拟 机 实例 .虚拟 机 实例 
由 VMM 管理 。 用 户 通 过 Web 服务 器 向 虚拟 机 发 出 请 求 ， 用 serverd 通过 VMM 对 虚拟 机 进 
行 管理 和 配置 . 

VMware ESX Server 及 其 增强 版 本 VMware ESXi Server 都 是 基于 虚拟 机 管理 程序 的 
法 。 既 可 以 安装 在 裸 机 服务 器 上 也 可 以 为 虚拟 机 管理 提供 服务 。 这 两 种 方案 提货 相同 的 
务 ， 但 它们 的 内 部 结构 不 同 ， 尤 其 是 虚拟 机 管理 程序 的 内 核 结构 不 同 。VMware ESX RAT 
Linux 操作 系统 的 修改 版 ， 可 以 通过 服务 控制 台 访 问 虚 拟 机 管理 程序 。 VMware ESXi 实现 了 
简单 的 操作 系统 层 ， 用 远程 管理 接口 和 服务 替代 服务 控制 台 ， 从 而 大 大 降低 了 委 拟 机 管理 程 
序 代 码 的 大 小 和 内 存 占 用 。 

VMware ESXi 2279 1 3-15 所 示 ， 其 核心 是 VMkemel， 是 简单 的 可 移植 操作 系统 
接口 (POSIX) 的 兼容 操作 系统 ， 提 供 了 进程 和 线程 管理 、 文 件 系 统 、1/0O 栈 和 资源 调度 等 
最 基本 功能 。 通 过 User world API 的 API 访问 内 核 。 系 统 代理 利用 这 些 API 提供 对 虚拟 机 
的 管理 。CIM Broker 负责 对 ESXi 服务 器 进行 远程 管理 ， 系 统 代理 作为 客户 VMkemel MX, 
使 用 通用 信息 模型 (CM) ”协议 。ESXi 安装 也 可 以 通过 直接 用 户 端 接 口 (DCUI) 在 本 地 管 
理 ，DCUI 提供 了 类 似 于 BIOS 的 界面 。 

(3) 基础 设施 虚拟 化 和 云 计算 解决 方案 

VMware 提供 了 涵盖 云 计 算 全 部 协议 栈 的 一 组 产品 ， 从 云 计算 环境 中 的 基础 设施 管理 到 
软件 即 服务 (SaaS) 解决 方案 。 不 同 解决 方案 及 其 相互 关系 如 图 3-16 所 示 。 
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O 通用 信息 模型 (CM) 是 用 于 定义 系统 、 应 用 程序 和 服务 的 管理 信息 的 分 布 式 管理 任务 标准 。 详 见 http:// 
dmtf_org/standards/cim . 
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图 3-15 VMware ESXi 服务 器 架构 
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图 3-16 VMware 云 计算 解决 方案 层次 结构 


ESX 和 ESXi 是 虚拟 基础 设施 管理 组 件 : 虚拟 化 服务 器 池 连 接 在 一 起 并 由 VMware 
vSphere 远程 管理 。 作 为 虚拟 化 平台 ，VMware 提供 了 包括 虚拟 计算 服务 的 一 组 基础 服务 : 
虚拟 文件 系统 、 虚 拟 存 储 和 虚拟 网 络 ， 它 们 构成 基础 设施 的 核心 ; vSphere 提供 了 应 用 服务 ， 
如 虚拟 机 迁移 、 存 储 迁 移 、 数 据 恢 复 和 安全 性 。VMware vCenter 负责 管理 基础 设施 ， 在 数 
据 中 心 环境 中 安装 vSphere 并 对 其 进行 集中 管理 。VMware vCloud 将 虚拟 化 数据 中 心 转变 为 
云 计 算 基 础 设施 即 服务 ( IaaS )， 人 允许 服务 供应 商 为 用 户 按 需 提供 即 用 即 付 的 虚拟 计算 环境 。 
用 户 通过 Web 门户 访问 vCloud 服务 ， 而 用 户 可 以 通过 模板 选择 或 在 虚拟 实例 之 间 设 置 虚拟 
网 络 来 自行 建立 虚拟 机 。 

VMware 还 提供 了 云 计算 中 应 用 程序 开发 的 解决 方案 VMware vFabric， 它 是 一 套 组 件 ， 
用 于 在 虚拟 化 基础 设施 上 开发 可 扩展 的 Web 应 用 程序 。vFabric 包括 应 用 程序 监控 、 可 扩展 
的 数据 管理 、 可 扩展 的 执行 和 Java Web 应 用 组 件 。 
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BIS. VMware 云 计算 方案 的 最 上 层 是 Zimbra， 用 于 办 公 自 动 化 、 消 息 传递 及 组 件 协 
同 ， 完 全 托管 在 云 计算 环境 中 ， 在 任何 地 方 都 能 访问 。Zimbra 是 SaaS 解决 方案 ， 在 单一 软 
件 平台 集成 各 种 功能 ， 包 括 电 子 邮件 和 协同 管理 。 

3. 结论 

M x86 硬件 完全 虚拟 化 方案 开始 ， 随 着 VMware 的 不 断 发 展 ， 目 前 可 以 提供 一 个 完 
虚拟 化 方案 ， 包 括 硬件 、 基 础 设施 、 应 用 程序 和 服务 的 虚拟 化 ， 涵 盖 了 云 计算 市 场 的 多 数 产 
品 。 尽 管 x86 全 虚拟 化 是 VMware 的 核心 技术 ,但 随 着 技术 的 发 展 ， 半 虚拟 化 功能 已 集成 到 
一 些 供应 商 提供 的 解决 方案 中 ， 特 别 是 在 硬件 辅助 虚拟 化 出 现 之 后 。 例 如 ， 一 些 设备 仿 真 的 
实现 和 VMware Tool 组 件 ， 加 强 了 客户 机 和 主机 操作 环境 的 集成 。 此 外 ，VMware BARFE 
了 与 厂商 无 关 的 虚拟 机 接口 (VMI) 并 对 其 规范 化 ， 这 是 通用 的 主机 无 关 的 半 虚 拟 化 方法 : 


3.6.3 ”微软 Hyper-V 


Hyper-V 是 微软 开发 的 用 于 服务 器 虚拟 化 的 基础 设施 虚拟 化 方案 。 正 如 其 名 ， 它 采用 基 
于 虚拟 机 管理 程序 (hypervisor) 的 方法 实现 硬件 虚拟 化 ， 利 用 多 种 技术 来 支持 各 种 客户 机 操 
作 系 统 。Hyper-V 目前 作为 Windows Server 2008 R2 的 一 个 组 件 ， 将 虚拟 机 管理 程序 作为 服 
务 器 的 一 个 角色 。 

1. 架构 

Hyper-V 通过 分 区 的 方式 支持 多 个 客户 机 操作 系统 的 并 发 执行 。 分 区 是 一 个 完全 隔离 的 
操作 系统 的 安装 和 运行 环境 。 

Hyper-V 的 架构 如 图 3-17 所 示 。 尽 管 其 直接 作为 主机 操作 系统 的 一 个 组 件 安 骤 ， 但 是 
Hyper-V 控制 硬件 ， 并 且 将 主机 操作 系统 配置 成 具有 特殊 权限 的 虚拟 机 实例 ， 称 为 父 分 区 。 
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图 3-17 微软 Hyper-V 架构 
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父 分 区 (也 称 为 根 分 区 ) 是 唯一 可 以 直接 访问 底层 硬件 的 分 区 。 它 运行 在 虚拟 化 层 ， 装 有 配 
置 客 户 机 操作 系统 的 驱动 程序 ， 并 通过 虚拟 机 管理 程序 创建 子 分 区 。 子 分 区 安装 客户 机 操作 
系统 且 不 能 访问 底层 的 硬件 ， 可 由 父 分 区 和 虚拟 机 管理 程序 控制 子 分 区 之 间 的 交互 。 

(1) 虚拟 机 管理 程序 

虚拟 机 管理 程序 是 直接 管理 底层 硬件 (处 理 器 和 内 存 ) 的 组 件 。 包 括 以 下 部 分 : 

et ed re a eel ee ape 

;分 区 操作 系统 中 驱动 程序 使 用 该 接口 并 采用 标准 的 Windows 调用 方式 ， 与 虚拟 
理 程序 联系 。 父 分 区 也 使 用 该 接口 来 创建 子 分 区 。 
内 和 存 服 务 例 程 (CMSR)。 这 是 控制 内 存 和 从 分 区 访问 内 存 的 功能 集 。 利 用 硬件 辅助 虚 
拟 化 ， 虚 拟 机 管理 程序 通过 翻译 虚拟 内 存 地 址 、 使 用 输入 / 输出 内 存 管理 单元 (IO 
MMU 或 IOMMU ) 快速 从 分 区 访问 设备 。 
癌 级 可 编程 中 断 控制 器 ( APIC )。 该 组 件 是 指 中 断 控 制 器 ， 管 理 底层 硬件 发 生 的 某 些 
引起 中 断 的 事件 〈 计 时 器 到 时 、LIO 就 绪 、 异 常 和 自 陷 )。 每 个 虚拟 处 理 器 都 配置 了 合 
MP are til ar (SynIC)， 是 本 地 APIC 的 扩展 。 当 SynIC 发 生物 理 中 断 时 ， 虚 拟 机 管 
理 程序 负责 分 派 。 
调度 器 。 该 组 件 对 虚拟 处 理 喜 进行 调度 ， 使 其 在 具有 高 可 靠 性 的 物理 处 理 器 上 运行 
调度 由 父 分 区 设置 的 策略 控制 完成 。 
地 址 管理 。 该 组 件 用 于 管理 分 配给 每 个 客户 机 操作 系统 的 虚拟 网 络 地 址 。 
分 区 管理 。 这 个 组 件 负 责 分 区 的 创建 、 删 除 、 显 示 和 配置 。 通 过 前 面 讨论 过 的 超级 
调度 的 API 接口 来 获得 该 服务 。 

虚拟 机 管理 程序 在 1 环 上 运行 ， 因 此 需要 相应 的 硬件 技术 支持 。 通 过 执行 高 特权 模式 ， 
虚拟 机 管理 程序 可 以 支持 x86 原 有 操作 系统 。 新 一 代 操 作 系 统 可 以 利用 Hyper-V 的 新 体系 
结构 ， 特 别 适 用 于 由 子 分 区 完成 的 1/ O 操作 。 

(2) BRAVO 和 集成 设备 

BAA VO 提供 了 一 种 执行 IO 操作 的 优化 方法 ， 人 允许 客户 操作 系统 利用 一 个 分 区 通信 
通道 ， 而 不 是 遍历 由 虚拟 机 管理 程序 提供 的 硬件 模拟 技术 栈 。 这 种 方式 仅 适 用 于 虚拟 机 管理 
程序 可 感知 的 客户 机 操作 系统 。 启 发 式 IO 设备 使 用 了 VMBus， 分 区 通信 通道 用 于 分 区 (F 
分 区 和 父 分 区 ) 之 间 交 换 数据 ， 而 且 多 用 于 实现 客户 机 操作 系统 的 虚拟 设备 驱动 。 

启发 式 VO 的 架构 如 图 3-17 所 示 。 包 括 三 个 基本 组 件 : VMBus、 虚 拟 服务 供应 商 (VSP) 
和 虚拟 服务 客户 端 (VSC)。VMBnus 是 分 区 之 间 的 通信 通道 ， 它 定义 了 通信 协议 。VSP 是 内 
核 级 驱动 程序 ， 部 署 在 父 分 区 ， 可 访问 相应 的 硬件 设备 。 子 分 区 中 的 客户 机 操作 系统 的 虚 
拟 设备 驱动 与 VSC 进行 交互 。 支 持 Hyper-V 的 操作 系统 利用 该 通信 通道 执行 IO 存储 、 网 
络 通信 、 图 形 和 输入 子 系统 。 客 户 机 操作 系统 之 间 的 虚拟 网 络 可 以 增强 子 系统 的 子 分 区 间 
通信 1/0 的 性 能 。 原 有 操作 系统 不 是 基于 感知 的 虚拟 机 管理 程序 ， 但 仍然 可 以 通过 Hyper-V 
依靠 设备 驱动 模拟 来 运行 ， 虚 拟 机 管理 程序 对 设备 驱动 模拟 进行 管理 ， 只 是 效率 较 低 。 

(3) 父 分 区 

父 分 区 执行 主机 操作 系统 ， 并 实现 客户 机 操作 系统 中 的 虚拟 机 管理 程序 活动 的 虚拟 化 。 
此 分 区 是 Windows Server 2008 R2 的 一 个 实例 ， 负 责 管理 子 分 区 可 使 用 的 虚拟 化 栈 。 这 是 唯 
一 一 个 直接 访问 设备 驱动 的 分 区 ， 并 可 以 通过 VSP 的 子 分 区 协调 访问 。 

父 分 区 用 于 管理 子 分 区 的 创建 、 执 行 和 删除 ， 通 过 虚拟 化 设备 驱动 ( VID) 来 实现 其 功 
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能 , VID 控制 对 虚拟 机 管理 程序 的 访问 ， 并 管理 虚拟 处 理 器 和 内 存 。 对 于 创建 的 每 个 子 分 区 ， 
虚拟 机 工作 进程 (VMWP) 被 定义 为 父 分 区 的 实例 ， 通 过 VID 管理 子 分 区 与 虚拟 机 管理 程序 
的 交互 。 可 通过 WMI? 远 程 获取 虚拟 机 管理 服务 ，WMI 支持 远程 主机 访问 VID. 

(4) FB 

子 分 区 用 于 执行 客户 机 操作 系统 。 子 分 区 是 客户 机 的 安全 和 可 控 的 独立 执行 环境 。 根 据 
客户 机 操作 系统 是 否 支 持 Hyper-V， 子 分 区 可 分 为 两 种 类 型 。 分 别称 为 启发 式 分 区 和 非 局 发 
式 分 区 。 启 发 式 分 区 受益 于 启发 式 IO 设备 ， 非 启发 式 分 区 则 由 虚拟 机 管理 程序 充分 利用 硬 
件 模 拟 来 执行 。 

2. 云 计算 和 基础 设施 管理 

Hyper-V 是 微软 基础 设施 虚拟 化 的 基本 模块 。 其 他 组 件 则 用 于 创建 功能 全 面 的 服务 器 虚 
拟 化 平台 。 

为 了 提高 虚拟 化 环境 的 性 能 ， 微 软 发 布 了 Windows Server 2008 的 新 版 本 Windows 
Server Core。 这 是 一 个 特殊 版 本 的 操作 系统 ， 它 减少 了 功能 集 并 使 用 了 较 少 的 脚本 ， 尤 其 是 
去 掉 了 服务 器 环境 中 不 需要 的 功能 ， 如 GUI 组 件 和 其 他 占 内 存 较 大 组 件 ， 如 NET -框架 及 在 
该 框架 上 开发 的 应 用 程序 (例如 PowerShell)。 这 样 的 设计 既 有 优点 也 有 缺点。 有利 的 一 面 
是 减少 了 维护 (例如 更 少 的 软件 补丁 )， 减少 了 被 攻击 的 可 能 性 ， 减少 了 管理 并 节约 了 磁盘 
空间 。 缺 点 是 通信 式 功 能 变 弱 了 。 尽 管 如 此 ， 仍 可 以 通过 功能 齐全 的 Windows， 以 远程 管 
理 的 方式 来 获得 “缺少 的 功能 ”。 例 如 ， 管 理 员 可 以 使 用 PowerShell 中 的 WMI 来 远程 管理 
Windows Server Core 的 安装 。 

支持 虚拟 机 管理 的 另 一 个 组 件 是 系统 中 央 虚 拟 机 管理 器 (SCVMM) 2008， 它 是 
Microsoft System Center 的 一 个 组 件 ， 从 IT 生存 期 管理 方面 实现 虚拟 基础 设施 的 管理 功能 。 
从 本 质 上 讲 ，SCVMM 完成 了 Hyper-V 的 基本 管理 功能 ， 包 括 : 

e 创建 和 管理 虚拟 实例 的 门户 。 

© 虚拟 机 到 虚拟 机 (V2V) 和 物理 机 到 虚拟 机 (P2V) 的 转换 。 

e 授权 管理 。 

o ERRE PowerShell 集成 。 

e 虚拟 机 在 管理 环境 中 的 智能 配置 。 

e 主机 容量 管理 。 

SCVMM 与 其 他 虚拟 化 平台 兼容 ， 如 VMware 的 vSphere (ESX 服务 器 )， 但 是 主要 优势 
源 于 Hyper-V 的 虚拟 基础 设施 管理 。 

3. 结论 

与 Xen 和 VMware 相 比 ，Hyper-V 是 一 个 综合 的 解决 方案 ， 利 用 了 半 虚 拟 化 技术 和 全 硬 
件 虚拟 化 技术 。 

Hyper-V 虚拟 机 管理 程序 的 架构 基于 半 虚 拟 化 技术 。 客 户 机 操作 系统 通过 超级 调用 可 
以 获取 虚拟 机 管理 程序 的 服务 。 同 样 半 虚 拟 化 内 核 可 以 利用 VMBnus 进行 快速 的 IO 操作 。 
此 外 ， 其 分 区 概念 类 似 于 Xen 的 域 : 父 分 区 对 应 域 0， 而 子 分 区 对 应 域 U。 唯 一 的 区 别 是 ， 
Xen 虚拟 机 管理 程序 安装 在 裸 硬 件 上 ， 并 过 滤 掉 所 有 对 底层 硬件 的 访问 ， 而 Hyper-V 是 安装 





. © WMI 指 Windows 管理 工具 ( Windows Management Instrumentation), 42 Windows 环境 访 问 底层 硬件 的 规范 。 
该 规范 面向 服务 供应 商 ， 对 用 户 授权 来 访问 硬件 的 特定 子 系统 。 
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在 操作 系统 上 的 一 个 角色 ， 它 与 分 区 的 交互 方式 与 VMware 非常 相似 。 

Hyper-V 所 采用 的 方法 既 有 优点 也 有 缺点 。 优 点 是 它 是 一 个 灵活 的 虚拟 化 平台 ， 可 以 支 
持 多 种 客户 机 操作 系统 。 缺 点 是 对 硬件 和 软件 的 要 求 。Hyper-V 只 与 Windows Server 2008 
和 x64 系统 的 Windows Server 平台 兼容 。 此 外 ， 它 需要 64 位 处 理 需 以 支持 硬件 辅助 虚拟 化 
和 数据 执行 保护 。 最 后 ， 如 上 所 述 ，Hyper-V 是 安装 在 操作 系统 上 的 一 个 角色 ， 而 vSphere 
和 Xen 可 以 安装 在 裸 硬件 上 。 


本 章 小 结 


虚拟 化 术语 包括 了 各 种 技术 和 概念 。 所 有 虚拟 化 形式 的 共同 点 是 通过 使 用 某 种 模拟 或 抽 
象 层 来 提供 特定 的 虚拟 环境 ,无 论 是 运行 环境 、 存 储 能 力 、 网 络 连 接 或 远程 桌面 。 这 些 概 念 
为 创建 云 计算 的 基础 设施 和 服务 发 挥 了 重要 作用 ， 云 计算 环境 中 的 硬件 、IT 基础 设施 ， 应 
用 和 服务 都 通过 互联 网 或 是 通用 的 网 络 连 接 被 按 需 交付 。 


>] 


. 什么 是 虚拟 化 ? 其 优点 是 什么 ? 

.虚拟 化 环境 的 特点 是 什么 ? 

.描述 不 同 层次 的 虚拟 化 分 类 。 

.描述 执行 虚拟 化 的 机 器 参考 模型 。 

. 什么 是 硬件 虚拟 化 技术 ? 

. 列 出 并 详 述 不 同类 型 的 虚拟 化 。 

. 云 计 算 环境 中 虚拟 化 的 优势 是 什么 ? 
.虚拟 化 的 缺点 是 什么 ? 

. 什么 是 Xen? 描述 其 虚拟 化 原理 。 
10. 描述 完全 虚拟 化 的 参考 模型 。 

11， 论 述 Hyper-V 的 架构 及 其 在 云 计算 中 的 应 用 。 
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云 计 算 这 个 词 包含 许多 不 同 的 含义 ， 最 近 它 非常 流行 ， 常 被 公众 误解 为 现 有 技术 和 想法 
的 翻新 。 是 什么 让 IT 经 营 者 和 研究 者 对 云 计算 如 此 感 兴趣 ? 它 是 怎样 在 分 布 式 计算 领域 内 
创新 的 ? 这 一 章 将 围绕 这 些 问题 展开 ， 归 纳 这 一 现象 的 特点 ， 并 提供 一 个 参考 模型 作为 讨论 
云 计 算 技 术 的 基础 。 


4.1 简介 


面向 效用 的 数据 中 心 是 云 计算 的 首 例 成 果 ， 并 且 作 为 基础 设施 服务 平台 来 实现 和 提供 服 
务 。 任 何 云 服 务 ， 不 管 是 虚拟 硬件 、 开 发 平台 还 是 应 用 软件 ， 痢 依赖 于 服务 供应 商 拥有 的 或 
从 第 三 方 租用 的 分 布 式 基 础 设施 。 按 照 之 前 的 定义 ， 云 计算 可 以 使 用 一 个 数据 中 心 、 右 干 集 
群 或 者 是 由 PC、 工 作 站 和 服务 器 组 成 的 异 构 分 布 式 系统 来 实现 。 通 常 由 一 个 或 多 个 数据 中 
心 构建 云 计算 。 大 多 数 情 况 下 ， 硬 件 资源 通过 虚拟 化 实现 任务 的 分 离 和 基础 设施 的 最 有 效 利 
用 。 对 于 终端 的 具体 服务 ,在 虚拟 基础 设施 的 顶层 义 分 为 不 同 层次 : 虚拟 机 管理 硕 、 开 放 平 


台 或 者 是 具体 的 应 用 中 间 件 。 
前 几 章 已 经 提 及 ， 云 计算 范式 的 出 现 是 各 种 现 有 的 模型 、 技 术 和 概念 共同 集成 的 结果 ， 


它 改 变 了 我 们 交付 和 使 用 IT 服务 的 方式 。 其 广义 的 定义 如 下 : 
云 计 算是 一 种 面向 效用 的 以 互联 网 为 中 心 的 按 需 交付 IT 服 务 的 方法 。 它 所 提 
供 的 服务 包含 了 整个 计算 栈 的 各 个 层次 : 从 底层 硬件 基础 设施 集成 为 一 组 虚拟 机 ， 
到 顶层 软件 服务 ， 如 开发 平台 和 分 布 式 应 用 。 
这 个 定义 概括 了 云 计 算 最 重要 和 最 基本 的 特征 。 现 在 我 们 讨论 一 个 参考 模型 ， 进 而 对 云 
计算 技术 、 应 用 及 服务 进行 分 类 。 


42 云 计 算 参 考 模型 


云 计算 文 持 任何 IT 服务 作为 公共 基础 设施 服务 通过 网 络 被 使 用 和 交付 。 这 种 服务 包括 
几 个 不 同方 面 : 基础 设施 、 开 发 平台 、 应 用 软件 和 服务 。 


4.2.1 架构 


可 以 把 云 计算 所 有 具体 实现 组 织 成 分 层次 的 堆栈 结构 ( 见 图 4-1 )， 从 硬件 应 用 到 软件 系 
统 。 云 计算 资源 被 用 于 提供 服务 的 “计算 马力 ”。 通 常 ， 这 一 层 采用 数据 中 心 实现 ， 数 据 中 
心 有 成 干 上 万 个 聚集 在 一 起 的 节点 。 云 基础 设施 本 质 上 是 异 构 的 ， 由 于 包括 各 种 不 同 的 资 
源 ， 比 如 集群 甚至 互联 的 PC， 这 些 都 可 以 作为 云 基础 设施 。 此 外 ， 数 据 库 系 统 和 其 他 存储 
服务 也 可 以 是 云 基础 设施 的 一 部 分 。 

物理 基础 设施 由 核心 中 间 件 管理 ， 其 目的 是 为 应 用 软件 提供 一 个 适当 的 运行 环境 以 实现 
资源 的 最 优化 利用 。 在 云 计算 层次 结构 的 底部 ， 采 用 虚拟 化 技术 来 保证 运行 环境 的 可 定制 、 
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用 户 应 
用 程序 社会 计算 ， 企业 ISV， 科 学 计算 ，CDN 


云 程序 环境 与 工具 


Web 2.0，Mashups， 并 行 和 分 布 式 编程 ， 工 作 流 ， 库 ， 脚 本 
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图 4-1 云 计 算 架 构 


应 用 程序 的 独立 性 、 沙 箱 作 业 和 服务 质量 。 硬 件 虚拟 化 在 这 一 层 应 用 最 为 普遍 。 虚 拟 机 管理 
程序 管理 资源 池 并 把 分 布 式 基础 设施 展现 为 虚拟 机 集合 。 采 用 虚拟 机 技术 能 够 更 精细 地 划分 
硬件 资源 ， 例 如 CPU、 存 储 器 、 虚 拟 化 设备 ， 从 而 满足 用 户 和 应 用 程序 的 要 求 。 该 方案 通 
常 与 存储 和 网 络 虚拟 化 策略 一 起 应 用 ， 支 持 对 基础 设施 的 完全 虚拟 化 和 控制 。 根 据 提供 给 最 
终 用 户 的 具体 服务 ， 也 可 以 使 用 其 他 虚拟 化 技术 ， 例 如， 编程 级 虚拟 化 有 助 于 创建 可 移植 运 
行 环境 ， 以 运行 和 控制 应 用 程序 。 这 种 情况 通常 意味 着 在 云 计算 中 托管 的 应 用 程序 可 以 用 特 
定 的 技术 或 编程 语言 (如 Java, NET 或 Python) 进行 开发 ， 此 时 用 户 不 必 从 裸 机 构建 系统 。 
基础 设施 管理 是 核心 中 间 件 的 关键 功能 ， 支 持 很 多 功能 ， 如 服务 质量 协商 、 准 入 控制 、 执 行 
管理 和 监控 、 计 账 、 计 费 。 

云 托管 平台 和 资源 结合 在 一 起 通常 被 归 类 为 基础 设施 即 服务 (IaaS ) 方案 。 可 以 把 IaaS 
的 不 同 应 用 实例 分 为 两 大 类 : 四 其 中 一 些 同 时 提供 管理 层 和 物理 基础 设施 ; @) 其 他 的 只 提供 
管理 层 (laaS ( M) )。 在 这 第 二 种 情况 下 ， 管 理 层 通常 与 其 他 提供 物理 基础 设施 的 IaaS 方案 
结合 在 一 起 。 

laas 解决 方案 适用 于 设计 系统 的 基础 设施 ， 但 对 于 构建 应 用 程序 却 只 能 提供 有 限 的 服 
务 。 应 用 程序 服务 由 云 计算 的 编程 环境 和 编程 工具 提供 ， 这 样 就 形成 了 一 个 新 的 层 一 一 为 
用 户 提 供应 用 程序 的 开发 平台 ， 工 具 包 括 基于 Web 界面 、 命 令 行 、 并 行 和 分 布 式 编程 框 染 。 
在 这 种 情况 下 ， 用 户 通过 用 户 级 中 间 件 的 API 开发 云 计算 的 应 用 程序 。 由 于 这 个 原因 ， 这 
种 方法 也 称 为 平台 即 服务 ( PaaS)， 因 为 提供 给 用 户 的 服务 是 一 个 开发 平台 而 不 是 基础 设施 。 
PaaS 解决 方案 一 般 也 包括 基础 设施 ， 这 个 基础 设施 也 是 提供 给 用 户 的 服务 的 一 部 分 。 在 纯 
PaaS 的 情况 下 ， 只 提供 了 用 户 级 中 间 件 ， 并 且 必 须 辅 以 一 个 虚拟 或 物理 基础 设施 。 

在 图 4-1 中 所 示 的 参考 模型 的 顶层 包含 为 应 用 层 提供 的 服务 ， 通常 称 为 软件 即 服务 
( SaaS)， 在 大 多 数 情况 下 ， 这 些 基于 Web 的 应 用 程序 都 依赖 于 云 计算 将 服务 提供 给 用 户 终 
端 。 在 laas 和 PaaS 解决 方案 的 支持 下 ， 云 计算 允许 独立 软件 供应 商 通过 互联 网 提供 应 用 服 
务 。 属 于 这 一 层 的 其 他 应 用 都 充分 利用 互联 网 ， 其 核心 功能 以 云 计算 为 依托 支持 大 量 用 户 使 
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用 。 游 戏 门 户 网 站 就 是 一 个 例子 ,通常 还 有 社交 网 站 。 

作为 一 种 设想 ， 云 计算 提供 的 任何 服务 应 该 能 够 自 适应 地 改变 和 自动 化 执行 ， 特 别 是 其 
可 用 性 和 性 能 要 高 。 作 为 参考 模型 ， 希 望 有 一 个 按 需 的 弹性 可 扩展 的 目 适应 性 管理 层 。SaaS 
可 以 自动 地 支持 这 样 的 操作 ， 而 PaaS 和 laas 一 般 作 为 用 户 API 的 一 部 分 提供 这 样 的 功能 。 

参考 模型 如 图 4-1 所 示 ， 还 引入 了 一 切 即 服务 (Xaas) 的 概念 。 这 是 云 计算 中 最 重要 的 
元 素 之 一 : 来 自 不 同 供应 商 的 云 服务 可 以 结合 起 来 ， 提 供 一 个 完全 集成 的 涵盖 系统 所 有 计 
算 层 次 的 解决 方案 。IaaS 供应 商 可 以 提供 支持 虚拟 机 的 裸 机 ，PaaS 部 署 在 虚拟 机 上 。 如 采 
不 必 包 含 Paas 层 ， 则 可 以 直接 定制 运行 应 用 程序 所 需 软 件 的 虚拟 基础 设施 。 虚 拟 Web 是 由 
Web 服务 器 、 数 据 库 服务 器 和 负载 均衡 服务 器 组 成 的 分 布 式 系统 ， 在 该 系统 安 闵 运行 Web 
应 用 程序 的 软件 。 云 计算 是 降低 IT 企业 初始 投资 成 本 的 非常 有 吸引 力 的 选择 ， 使 企业 能 够 
迅速 实现 商业 化 ， 并 根据 自己 的 收益 增加 基础 设施 。 

表 4-1 总 结 了 云 计 算 解 决 方案 三 大 类 别 的 特点 。 在 下 面 的 章节 中 ， 我 们 将 参考 实际 实施 
简要 地 讨论 这 些 特点 。 

表 4-1 云 计 算 服务 分 类 


类 别 供应 商 和 产品 


随时 随地 为 客户 提供 应 用 | Web 应 用 和 服务 (Web | SalesForce.com (CRM) Clarizen.com (项 目 管理 ) 
服务 2.0 ) 谷歌 App 


谷歌 AppEngine 
向 用 户 提供 一 个 平台 以 开 | 编程 API 和 框架 部 署 | 微软 Azure 
发 托管 在 云 中 的 应 用 4 Manjrasoft Aneka 


Data Synapse 


PaaS 


虚拟 机 管理 
基础 设施 
存储 管理 





向 用 户 提供 虚拟 化 硬件 和 
IaaS/HaaS | 存储， 可 以 在 其 上 建立 基础 
设施 


亚马逊 EC2 和 S3 
GoGrid 
Nirvanix 


网 络 管理 


4.2.2 ”基础 设施 即 服务 和 硬件 即 服务 


基础 设施 即 服务 和 硬件 即 服务 ClaaS/HaaS) 方案 是 最 流行 的 云 计算 产品 。Iaasg 能 按 需 提 
供 定 制 的 基础 设施 ， 服 务 范 围 从 单一 服务 器 到 整个 基础 设施 ， 包 括 网 络 设备 、 负 载 均 衡 、 数 
据 库 和 Web 服务 器 。 

用 于 交付 和 实施 这 些 方案 的 主要 技术 是 硬件 虚拟 化 : 一 个 或 多 个 虚拟 机 互相 连接 构成 一 
个 分 布 式 系统 ， 再 在 此 系统 上 安装 和 部 署 应 用 程序 。 根 据 虚 拟 硬件 的 特性 (如 内 存 、 处 理 器 
数量 和 磁盘 存储 ) 对 虚拟 机 进行 部 署 和 定价 。IaaS/Haas 方案 中 硬件 虚拟 化 的 优点 包括 T 
作 负 载 分 区 、 应 用 程序 隔离 、 沙 箱 和 硬件 协同 。 从 服务 供应 商 的 角度 来 看 ，IaaS/Haas 可 以 
更 好 地 利用 IT 基础 设施 ， 并 提供 了 一 个 更 安全 的 环境 来 执行 第 三 方 应 用 程序 。 从 客户 的 角 
度 看 ， 它 降低 了 管理 和 维护 成 本 ， 以 及 购买 硬件 的 成 本 。 与 此 同时 ， 用 户 可 以 充分 利用 虚拟 
化 提供 的 完全 定制 的 优势 ， 在 云 中 部 署 其 基础 设施 。 在 大 多 数 情况 下 ， 虚 拟 机 只 配备 了 选 定 
的 操作 系统 ， 此 系统 可 按照 所 需要 的 软件 包 和 应 用 程序 进行 配置 。 其 他 方案 提供 了 预 安装 系 
KBR, DARKE RH AME: Web 服务 器 、 数 据 库 服务 器 、LAMP。 除 了 基本 的 虚拟 


昌 LAMP 是 Linux Apache MySql and PHP 首 字 母 缩写 ， 表 示 服 务 器 配置 运行 Linux 操作 系统 ， Apache 作为 Web 
服务 器 ，MySQL 作为 数据 库 服务 器 ，PHP ( 超 文 本 预 处 理 ) 作为 开发 Web 应 用 程序 的 脚本 技术 。LAMP 是 
常见 的 快速 开发 Web 应 用 程序 的 解决 方案 。 
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机 管理 功能 ， 这 些 方案 还 提供 了 附加 服务 ， 一 般 包括 以 下 内 容 : 基于 SLA 的 资源 分 配 ， 工 
作 人 负载 管理 ， 通 过 先进 的 Web 界面 支持 基础 设施 设计 ， 以 及 集成 第 三 方 laas 方案 的 能 力 。 

实施 laas 方案 的 参考 模型 如 图 4-2 所 示 。 模 型 可 划分 为 三 个 主要 层次 : 物理 基础 设施 、 
基础 设施 管理 软件 和 用 户 界 面 。 在 顶层 的 用 户 界 面 可 以 访问 基础 设施 管理 软件 提供 的 服务 。 
这 种 界面 一 般 基 于 Web 2.0 技术 : Web 服务 、RESTful APIs 和 mash-ups。 这 些 技术 人 允许 任 
何 应 用 程序 或 终端 用 户 获取 底层 基础 设施 提供 的 服务 。Web 2.0 应 用 程序 支持 开发 全 功能 的 
NY Ki ata Web 页 面 方式 的 管理 控制 台 。Web ARS Al RESTful API 允许 程序 与 服务 交互 而 无 
霄 人 工 干 预 ， 这 样 就 可 以 实现 软件 系统 一 体 化 。Iaasg 方案 的 核心 功能 是 在 基础 设施 管理 软件 
层 实现 的 。 尤 其 是 虚拟 机 的 管理 是 该 层 执行 的 最 重要 功能 。 调 度 程序 作为 核心 角色 负责 分 配 
虚拟 机 实例 的 执行 任务 。 调 度 程序 和 其 他 组 件 交 互 完 成 各 种 任务 : 


基于 Web 的 管理 接口 


Web 服务 ， 门 户 网 站 ，REST API 
















基础 设施 管理 软件 
a a 





= 
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图 4-2 实施 laas 的 参考 模型 


o 定价 和 计 费 组 件 负 责 记 录 每 个 虚拟 机 实例 的 执行 成 本 ， 并 维护 用 于 向 用 户 收取 费用 


的 数据 。 

o 监控 组 件 跟踪 每 个 虚拟 机 实例 的 执行 情况 ， 并 维护 所 有 用 于 报告 和 分 析 系 统 性 能 的 
数据 。 

o 预约 组 件 存储 所 有 已 执行 或 未 来 将 要 执行 的 虚拟 机 实例 的 信息 。 

。 如 果 提供 了 支持 基于 QoS 的 执行 ，QoS/SLA 管理 组 件 将 维护 所 有 用 户 要 求 的 服务 等 
级 协议 (SLA) 库 ， 与 监控 组 件 一 起 确保 给 定 的 虚拟 机 实例 能 达到 期 望 的 服务 质量 。 

o 虚拟 机 资源 库 组 件 提供 虚拟 机 镜像 的 目录 ， 用 户 可 以 使 用 它 来 创建 虚拟 实例 。 有 些 
还 允许 用 户 上 传 特定 的 虚拟 机 镜像 。 

o 虚拟 机 池 管 理 器 组 件 负责 跟踪 所 有 的 活动 实例 。 

。 最后， 如果 系统 支持 集成 第 三 方 laas 供应 商 提供 的 资源 ， 服 务 提 供 组 件 与 调度 程序 
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相互 作用 就 可 以 提供 一 个 虚拟 机 实例 ， 该 虚拟 机 实例 是 由 资源 池 直 接管 理 的 本 地 物 

理 设 备 的 外 部 表示 。 | 
最 底层 是 由 物理 基础 设施 构成 的 ， 在 其 上 运行 管理 层 。 如 前 面 所 讨论 的 ， 基 础 设施 可 以 
是 不 间 的 类 型 ， 使 用 什么 样 的 基础 设施 取决 于 具体 所 使 用 的 云 计算 服务 。 服 务 供应 商 很 可 能 
会 使 用 含有 成 百 上 千 个 节点 的 大 规模 的 数据 中 心 。 小 中 型 企业 或 大 学 所 开发 的 云 基 础 设施 服 
Ss, 最 有 可 能 依赖 于 一 个 集群 。 在 底层 也 可 以 考虑 由 不 同类 型 的 资源 组 成 的 异 构 环 境 ， 包括 
个 人 电脑 、 工 作 站 以 及 集群 ;这 些 资 源 都 可 以 集成 在 一 起 。 这 种 情况 主要 是 指 网 格 计 算 的 演 


化 ， 任 何 可 用 的 计算 资源 (如 PC 和 处 于 空闲 状态 的 工作 站 ) 都 可 以 被 利用 ， 以 提供 巨大 的 


计算 能 力 。 从 架构 角度 来 看 ， 物 理 层 还 包括 从 外 部 Iaas 供应 商 租用 的 虚拟 资源 。 

在 完全 las 方案 中 ， 所 有 三 个 层次 都 作为 服务 。Amazon、GoGrid、Joyent、Rightscale、 
Terremark, Rackspace, ElasticHosts 和 Flexiscale 等 公共 云 供 应 商 拥 有 大 型 数据 中 心 并 
且 可 以 通过 IaaS 访问 计算 基础 设施 。 而 其 他 解决 方案 只 包括 用 户 界面 和 基础 设施 软件 管 
理 层 ， 需 要 认证 才能 访问 第 三 方 IaaS 或 拥有 安装 了 管理 软件 的 基础 设施 。 这 样 的 情况 有 
Enomaly, Elastra, Eucalyptus, OpenNebula 和 来 目 VMware, IBM 和 微软 的 IaaS (M) 方案 。 

这 个 架构 只 是 laas 实现 方式 的 一 个 参考 模型 。 通 过 该 参考 模型 可 以 了 解 云 计算 服务 的 
普遍 特性 ， 以 及 实现 云 服 务 的 方法 。 不 同 的 解决 方案 可 以 配置 额外 的 服务 特性 ， 甚 至 本 书 没 
有 提 及 的 一 些 特 性 。 最 后 ， 用 于 实现 laas 的 参考 架构 提供 了 计算 资源 以 及 调度 组 件 。 当 存 
储 作为 主要 服务 时 ， 仍 然 可 以 分 为 这 三 个 层 。 基 础 设施 管理 软件 的 作用 不 是 跟踪 和 管理 虚拟 
机 的 执行 情况 ， 而 是 对 大 型 基础 设施 进行 访问 并 在 物理 层 之 上 实现 存储 虚拟 化 解决 方案 。 


4.2.3 平台 即 服务 
平台 即 服务 (PaaS) 解决 方案 提供 了 一 个 开发 和 部 署 平台 ， 用 来 在 云 计算 中 运行 应 用 程 


序 。 它 们 构成 了 能 在 其 上 构建 应 用 程序 的 中 间 件 。Paas 方案 其 功能 特性 如 图 4-3 所 示 。 
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图 4-3 PaaS 参考 模型 
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占用 程序 管理 是 中 间 件 的 核心 功能 。Paas 为 应 用 程序 提供 了 运行 环境 ， 但 并 不 提供 任 
何 管理 底层 基础 设施 的 服务 。Paas 自动 将 应 用 程序 部 署 到 基础 设施 ， 配 置 应 用 程序 组 件 ， 
提供 和 配置 支撑 技术 ， 比 如 负载 均衡 和 数据 库 ， 并 根据 用 户 设置 的 策略 调整 管理 系统 。 开 发 
人 员 设 计 系统 时 针对 的 是 应 用 方面 ， 他 们 并 不 关心 硬件 (物理 的 或 虚拟 的 )、 操 作 系 统 以 及 
其 他 低层 服务 - 根据 对 用 户 的 承诺 ， 核 心中 间 件 负责 管理 资源 并 按 需 自 动 地 扩展 应 用 。 从 用 
户 的 角度 来 看 ， 核 心中 间 件 提供 接口 ， 人 允许 用 户 在 云 计 算 上 编程 和 部 署 应 用 。 这 些 接口 可 以 
是 基于 Web 的 界面 形式 ， 也 可 以 是 API 编程 和 库 的 形式 。 

必用 程序 的 具体 开发 模型 决定 了 提供 给 用 户 的 接口 。 有 些 实现 提供 了 完全 基于 云 计 算 
的 Web 界面 .并且 提供 各 种 服务 。 可 以 基于 4GL 和 可 视 化 编程 概念 集成 开发 环境 ， 或 基于 
快速 原型 环境 .其 中 应 用 程序 由 mash-ups 和 用 户 自 定义 组 件 及 后 续 客 户 化 订 制 完成 组 装 。 
PaaS 模型 的 其 他 实现 方案 提供 了 一 个 完整 的 对 象 模型 来 表示 应 用 程序 ， 并 提供 一 种 基于 编 
得 语言 的 方法 。 这 种 方法 通常 提供 更 多 的 灵活 性 和 机 会 ， 但 会 有 较 长 的 开发 周期 。 开 发 人 员 
一 般 都 掌握 了 丰富 的 编程 语言 ， 如 Java、.NET、Python 或 Ruby,， 但 对 提供 更 好 的 可 扩展 性 
和 安全 性 有 一 定 的 限制 。 在 这 种 情况 下 ， 传 统 的 开发 环境 可 用 于 设计 和 开发 应 用 程序 ， 然 后 
通过 使 用 PaaS 供应 商 提供 的 API 将 其 部 署 在 云 中 。 组 件 可 以 和 开发 库 一 起 工作 以 更 好 地 利 
用 由 PaaS 环境 所 提供 的 服务 。 有 些 时 候 ， 模拟 云 计算 的 本 地 运行 环境 可 用 于 用 户 在 部 署 应 
用 程序 前 对 程序 进行 测试 。 这样 的 环境 只 局 限于 测试 软件 的 功能 . 一般 不 用 于 优化 软件 的 可 
扩展 性 . 

PaaS 解决 方案 可 以 提供 开发 应 用 程序 的 中 间 件 和 基础 设施 ， 或 按照 用 户 契 约 简 单 地 为 
用 户 提供 安装 软件 。 在 第 一 种 情况 下 ，PaaS 供应 商 拥有 运行 应 用 程序 的 大 型 数据 中 心 ; 而 
在 第 二 种 情况 下 ， 也 就 是 本 书 提 到 的 纯 PaaSs， 中 间 件 是 其 提供 的 核心 价值 。 也 可 能 有 同时 
提供 中 间 件 和 基础 设施 的 供应 商 , 但 可 以 只 向 私有 平台 提供 中 间 件 。 

表 4-2 所 示 是 最 常见 的 PaaS 实现 方法 的 分 类 。 这些 解 决 方案 可 以 分 为 三 大 类 别 : 
PaaS-I 、PaaS-I 和 PaaS- 亚 - PaaS-I 的 实现 完全 遵循 云 计算 模式 的 应 用 开发 和 部 署 ， 提 供 
了 基于 Web 浏览 器 的 集成 开发 环境 ， 可 以 进行 应 用 程序 的 设计 、 开 发 、 集 成 和 部 署 。Force. 
com 和 Longjump 就 属于 这 一 类 ， 两 者 都 能 够 提供 由 中 间 件 和 基础 设施 组 成 的 平台 。 在 第 二 
类 中 ， 表 中 列 出 了 所 有 专注 于 为 Web 应 用 程序 提供 可 扩展 基础 设施 的 解决 方案 ， 大 多 数 是 
网 站 。 在 这 种 情况 下 ， 开 发 者 通常 使 用 服务 供应 商 的 API 来 开发 应 用 程序 。 谷 歌 AppEngine 
是 这 一 类 最 具 代 表 性 的 产品 。 它 提供 了 基于 Java 和 Python 编程 语言 的 可 扩展 的 运行 环境 ， 
并 且 已 经 过 修改 ， 现 可 提供 更 安全 的 运行 环境 ， 以 及 丰富 的 API 和 组 件 ， 以 增强 其 可 扩展 
性 。AppScale 是 谷歌 AppEngine 的 开源 实现 ， 提 供 接口 兼容 的 中 间 件 ， 必 须 安 装 在 物理 基 
础 设施 上 -Joyent Smart Platform 提供 了 类 似 谷歌 AppEngine 方法 。Heroku 和 Engine Yard 
采用 了 不 同 的 方法 ， 在 基于 Rails 的 网 站 对 Ruby 程序 提供 了 可 扩展 性 。 在 这 种 情况 下 ， 开 
发 人 员 用 传统 方法 设计 和 创建 应 用 程序 ， 然 后 上 传 和 部 署 到 服务 供应 商 的 平台 。 

第 三 类 是 由 所 有 提供 云 计 算 编程 平台 的 解决 方案 组 成 的 ， 它 支持 任何 类 型 的 应 用 程 
序 ， 而 不 只 是 Web 应 用 程序 。 其 中 ， 最 典型 的 就 是 微软 Windows Azure， 它 提供 了 全 面 的 
构建 面向 服务 的 云 应 用 的 框架 ， 此 框架 基于 .NET 技术 ， 托 管 在 微软 的 数据 中 心 。 在 同一 类 
别 中 的 其 他 解决 方案 ， 如 Manjrasoft Aneka, Apprenda SaaSGrid, Appistry Cloud IQ 平台 、 
DataSynapse 和 GigaSpaces DataGrid， 仅 提供 不 同 服务 的 中 间 件 。 表 4-2 只 描述 了 PaaS 市 


场 的 部 分 产品 = 
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$k 4-2 Paas 实现 方法 分 类 


类 型 产品 类 型 供应 商 和 产品 
PaaS-I 基于 Web 应 用 程序 开发 平台 的 运行 时 环境 。 快 速 应 用 程序 | 中 间 件 + 基础 设施 | Force.com 
É 原型 设计 中 间 件 + 基础 设施 Longjump 


谷歌 AppEngine 
扩展 Web 应 用 程序 的 运行 环境 。 运 行 时 可 以 通过 提供 扩展 Heroku 

功能 的 附加 组 件 来 加 强 性 能 Engine Yard 

Joyent Smart Platform 

GigaSpaces XAP 
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PaaS 包括 了 云 计 算 中 开发 和 部 署 应 用 程序 的 各 种 解决 方案 。 尽 管 存在 不 同 的 方案 ， 但 
也 可 以 建立 统一 的 执行 标准 。 正 如 Appistry.com“ 的 产品 经 理 Sam Charrington 所 说 ，PaaS 
解决 方案 中 有 一 些 共同 的 基本 特征 : 
o 运行 时 框架 。 这 个 框架 代表 PaaS 模型 的 “软件 堆栈 " ， 是 人 们 对 于 PaaS 解决 方案 的 
最 直观 的 印象 。 运 行 时 框架 根据 用 户 和 供应 商 设置 的 策略 执行 终端 用 户 代 码 。 
o 抽象 。 根 据 所 提供 的 抽象 高 层 应 用 的 不 同 可 以 区 分 不 同 的 PaaS 解决 方案 。 而 laas 解 
决 方案 的 重点 是 提供 对 虚拟 或 物理 基础 设施 的 “原始 ”访问 ，PaaS 重点 关注 云 计 算 
必须 支持 的 应 用 程序 。 这 意味 着 PaaS 解决 方案 提供 的 是 部 署 和 管理 云 计算 应 用 的 方 
法 ， 而 不 是 在 其 上 构建 和 配置 IT 基础 设施 的 虚拟 机 。 
e 自动 化 。PaaS 环境 能 够 在 基础 设施 上 自动 部 署 应 用 程序 ， 并 且 通 过 按 需 配 置 更 多 资 
源 来 扩展 应 用 。 这 个 过 程 是 根据 客户 和 供应 商 之 间 签 订 的 SLA 自动 完成 的 。IaaS 通 
第 没 有 此 功能 ， 它 只 负责 如 何 提供 更 多 资源 。 
© AMRF. PaaS 向 开发 人 员 和 架构 师 提 供 服务 和 API， 帮 助 他 们 简化 创建 和 交付 具有 
可 扩展 性 和 高 可 用 性 的 云 应 用 。 这 些 服务 是 不 同 的 PaaS 解决 方案 的 关键 区 别 ， 一 
般 包 括 用 于 开发 应 用 程序 的 特定 组 件 ， 以 及 用 于 应 用 监控 、 管 理 和 报告 的 高 级 服务 
功能 。 
PaaS 的 为 一 个 重要 功能 是 能 够 利用 面向 服务 架构 集成 其 他 服务 供应 商 的 第 三 方 云 服务 。 
这 种 集成 通过 标准 接口 和 协议 完成 ， 使 得 应 用 程序 的 开发 更 加 灵活 ， 并 能 根据 客户 和 用 户 的 
需求 来 开发 。 许 多 PaaS 产品 都 提供 了 这 一 功能 ， 并 将 其 内 置 到 云 计 算 解 决 方案 的 框架 中 。 
利用 PaaS 解决 方案 实现 应 用 程序 的 主要 关注 点 之 一 是 厂商 绑 定 。 这 与 laas 方案 不 同 ， 
laaS 提供 裸 虚拟 服务 器 ， 并 支持 软件 协议 栈 的 可 定制 服务 。Paag 环境 提供 的 是 用 于 开发 应 
用 程序 的 平台 ,公开 了 定义 好 的 API 集 ， 而 且 在 大 多 数 情况 下 ， 应 用 程序 与 Paas 供应 商 的 
具体 运行 环境 绑 定 。 即 使 基于 平台 的 方法 可 以 简化 应 用 程序 的 开发 和 部 署 周期 ， 但 这 些 应 
用 存在 完全 依赖 于 服务 供应 商 的 风险 。 如 果 服 务 供应 商 终止 了 契约 ， 需 要 把 应 用 迁移 到 另 


O 详细 分 析 参 见 Cloud-pulse 博客 ， 网 址 http:// Cloudpulseblog.com/2010/02/the-essential-characteristics-of-paas, 


RIF AERA 


一 个 运行 环境 时 ， 这 种 依赖 关系 就 成 为 一 个 显著 的 障碍 。 不 同 解 决 方案 对 服务 绑 定 应 用 的 
影响 不 同 。 例 如 ，Force.com 依靠 专 有 的 运行 框架 ， 这 使 得 应 用 迁移 非常 困难 。 再 如 ， 谷 歌 
AppEngine 和 微软 Azure 依靠 行业 标准 运行 ,但 要 使 用 专用 的 数据 存储 设备 和 计算 基础 设 
施 。 在 这 种 情况 下 ， 可 以 利用 基于 PaaS 的 解决 方案 实现 相同 的 接口 ， 但 性 能 可 能 不 同 。 而 
Appistry Cloud IQ 平台 、Heroku 和 Engine Yard 则 完全 依赖 于 开放 的 标准 ， 从 而 使 应 用 程序 
更 容易 移植 。 

最 后 ， 从 财务 方面 看 ， 虽 然 IaaS 解决 方案 允许 通过 外 包 将 资金 成 本 纳入 运营 成 本 ， 但 
PaaS 解决 方案 在 应 用 开发 、 部 署 用 户 方面 是 透明 的 ， 能 够 集中 精力 于 业务 的 核心 价值 。 当 
PaaS 与 底层 的 laaS 解决 方案 捆绑 在 一 起 时 ,将 有 助 于 小 型 创业 公司 在 托管 平台 上 以 很 小 的 
成 本 迅速 为 客户 提供 集成 的 解决 方案 。 这 使 得 PaaS 可 以 针对 不 同市 场 提供 可 行 的 方案 。 


4.2.4 软件 即 服务 


软件 即 服 务 (SaaS ) 是 一 种 基于 Web 的 软件 交付 模式 ， 提 供 通过 互联 网 访问 应 用 程序 的 
服务 。 这 种 方案 将 复杂 的 人 硬件 和 软件 管理 任务 交 给 第 三 方 ， 从 而 减轻 用 户 的 负担 ， 通 过 Web 
浏览 絮 允 许多 用 户 访问 同一 应 用 程序 。 在 这 种 情况 下 ， 用 户 既 不 需要 在 终端 安装 任何 东西 ， 
也 不 必 支 付 相当 大 的 前 期 成 本 购买 软件 和 所 需 的 许可 。 他 们 只 需 访问 应 用 程序 网 站 ， 输 入 证 
书 和 账户 详细 信息 ， 就 可 以 立即 使 用 应 用 程序 ， 在 大 多 数 情 况 下 ， 还 可 以 进一步 定制 软件 以 
满足 其 需要 。 在 供应 商 端 ， 每 个 用 户 应 用 程序 的 具体 细节 和 功能 特性 都 在 基础 设施 中 维护 ， 
并 按 需 提供 。 

SaaS 模式 对 服务 多 用 户 的 应 用 程序 是 很 有 吸引 力 的 ， 并 且 几 乎 不 需要 进一步 定制 就 能 

足 特 定 需 求 。SaaS 模式 的 特点 是 “一 对 多 ”的 软件 交付 模式 ， 即 一 个 应 用 程序 由 多 个 用 
户 共享 。CRMe 和 ERPe 应 用 程序 就 属于 这 种 情况 ， 它 们 已 成 为 所 有 企业 的 共同 需求 ， 不 论 
是 小 型 、 中 型 还 是 大 型 的 企业 都 需要 CRM 和 ERP 系统 ， 即 使 需求 不 同 也 可 以 通过 进一步 的 
客户 化 得 到 满足 。 此 方案 提供 了 一 个 通用 的 功能 集 并 且 支 持 新 组 件 的 专业 化 集成 ， 易 于 实现 
软件 平台 的 开发 。 此 外 ， 它 是 托管 方案 的 最 佳 选择 ， 因 为 交付 给 用 户 的 应 用 程序 是 相同 的 ， 
而 且 应 用 程序 本 身 为 用 户 提 供 了 一 种 方法 ， 可 以 根据 用 户 需 要 来 创建 应 用 程序 。 因 此 ，SaaS 
应 用 自然 有 很 多 租户 。 多 租户 是 SaaS 相对 于 传统 软件 的 一 个 特点 ， 它 使 服务 供应 商 能 够 集 
中 精力 去 管理 大 型 硬件 基础 设施 、 维 护 和 升级 应 用 程序 ， 并 在 庞大 的 用 户 群 之 间 分 担 成 本 以 
优化 资源 。 在 客户 端 ， 这 样 可 以 使 软件 的 使 用 费用 最 小 化 。 

正如 前 面 所 指出 的 ( 见 1.2 节 )， 在 云 计算 之 前 ， 软 件 即 服务 的 概念 出 现在 20 世纪 90 
年 代 末 ， 那 时 它 开始 获得 市 场 认 可 [31] 。 其 缩写 SaaS 于 2001 年 由 软件 与 信息 产业 协会 
(SHA) [32] 创建 ， 其 含义 如 下 : 

在 软件 即 服务 模型 中 ， 应 用 程序 或 服务 通过 网 络 (互联 网 、 内 联网 、 局 域 网 或 

VPN) 在 一 个 集中 的 数据 中 心 被 部 署 、 访 问 并 且 产 生 使 用 费用 。 用 户 从 服务 集中 供 

应 商 那 里 租用 或 订阅 应 用 程序 的 使 用 权 。 商 业 模式 根据 软件 的 精简 程度 而 有 所 不 


昌 CRM 是 客户 关系 管理 (customer relationship management) 的 首 字母 缩写 ， 关 注 与 客户 和 销售 预期 的 交互 ， 是 
用 于 简化 客户 管理 和 识别 销售 策略 的 软件 系统 。 

© ERP 是 企业 资源 计划 (enterprise resource planning) 的 缩写 。ERP 通常 指 管理 企业 内 部 和 外 部 资源 的 集成 计 
算 机 系统 ， 管 理 的 资源 包括 有 形 资 产 、 原 材料 、 财 务 和 人 力 资源 ,ERP 软件 提供 了 集成 的 企业 管理 视图 ， 易 于 
实现 商业 活动 与 资源 之 间 的 信息 流 管理 。 
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同 ， 从 而 降低 价格 和 提高 效率 ， 或 通过 客户 化 定制 增加 附加 值 ， 进 一 步 改进 数字 化 

业务 流程 。 

SIIA 的 分 析 主 要 涵盖 应 用 服务 供应 商 (ASP) 的 不 同 解决 方案 ， 在 广泛 意义 上 理解 软件 
应 用 作为 一 种 服务 的 概念 。ASP 具有 SaaS 的 核心 特征 : 

o 销售 给 用 户 的 产品 是 应 用 程序 的 访问 权 。 

e 应 用 程序 被 集中 管理 。 

e 提供 的 服务 是 一 对 多 的 。 

o 提供 的 服务 是 基于 承诺 契约 的 综合 方案 。 

最 初 ，ASP 提供 的 是 应 用 程序 软件 包 的 托管 解决 方案 ， 以 便 为 多 个 客户 服务 。 之 后 ， 其 
他 方案 (如 基于 Web 的 第 三 方 应 用 服务 ) 受到 广泛 关注 ， 给 独立 软件 供应 商 和 服务 供应 商 市 
来 了 新 的 机 会 。 这 些 机 会 最 终 演变 成 一 个 更 灵活 的 模式 ， 就 是 将 应 用 作为 一 种 服务 : SaaS 
模式 。ASP 提供 访问 软件 包 的 解决 方案 以 满足 用 户 的 各 种 需求 最 初 服务 供应 商 能 承受 这 种 
服务 方法 ,但 当 客 户 化 定制 成 本 增加 时 就 不 太 容易 了 。SaaS 引入 了 完全 由 用 户 自 定义 的 更 
灵活 的 交付 服务 方式 ， 用 户 可 以 集成 新 的 服务 、 加 入 自己 的 组 件 ， epg rd 
息 的 工作 流 。 这 种 新 的 方法 在 Web 2.0 技术 的 支持 下 得 以 实现 ,将 Web 浏览 硕 转 变 为 一 
功能 齐全 的 界面 ， 甚 至 文 持 应 用 程序 的 组 合 和 开发 。 

RUBS SaaS 有 什么 关系 呢 ? 根据 图 4-1 所 示 的 服务 分 类 ，SaaS 处 于 云 计算 层次 结构 
的 顶层 ， 它 符合 Xaas (一 切 即 服务 ) 的 云 计 算 构 想 ， 并 且 SaaS Parteners 
付 的 。 最 初 ， 只 有 领先 的 用 户 和 早期 采用 者 对 SaaS 模式 感 兴趣 。 在 那个 阶段 ，SaaS 带 来 的 
好 处 如 下 : 

e 降低 软件 成 本 和 总 体 成 本 。 

© 服务 水 平 的 改进 。 

e 快速 实施 。 

e 独立 的 、 可 配置 的 应 用 。 

e 应 用 程序 和 数据 初步 集成 。 

e 订阅 和 即 用 即 付 的 定价 方式 。 

随 看 云 计算 的 到 来 ，Saas 作为 一 种 可 行 的 软件 交付 模式 日 益 得 到 人 们 的 接受 。 这 使 得 
SaaS 过 渡 到 SaaS2.0[40] ， 但 并 没有 引入 新 的 技术 ， 只 是 Saas 的 应 用 方式 有 所 改变 。 

SaaS2.0 尤其 专注 于 提供 更 具 鲁 棒 性 的 基础 设施 和 应 用 平台 。 与 其 说 SaaS2.0 能 更 快 地 
实现 和 部 署 应 用 环境 ,还 不 如 说 SaaS2.0 能 更 快 地 实现 业务 目标 。 这 就 是 为 什么 这 样 的 演进 
并 不 需要 任何 新 技术 ， 而 是 将 现 有 的 技术 集成 在 一 起 ， 从 而 有 效 地 实现 业务 目标 。 这 一 观点 


的 基础 是 利用 现 有 方案 和 集成 增值 业务 服务 的 能 力 。 现 有 的 Saas 基础 设施 不 仅 支持 应 用 程 


序 的 开发 和 定制 ， 而 且 还 易于 集成 第 三 方 提供 的 服务 。 这 样 ，Saag 应 用 程序 是 不 同 的 应 用 
和 组 件 相互 连接 、 协 同 作用 的 结果 ， 并 且 一 起 为 用 户 提 供 附 加 值 的 服务 。 这 种 方法 极 大 地 改 
AR YS SaaS 市 场 的 软件 生态 系统 ， 不 再 由 少数 厂商 垄断 ， 而 是 众多 服务 供应 商 形成 服务 网 络 ， 
为 客户 提供 应 用 程序 服务 。 在 这 种 情况 下 ， 集 成 在 SaaS 应 用 的 每 个 单一 组 件 都 向 用 户 承 诺 
确保 履行 其 SLA， 同 时 可 以 根据 不 同 的 服务 等 级 定价 。 然 后 用 户 确定 需要 集成 哪些 组 件 和 
服务 的 应 用 服务 。 

软件 即 服务 的 应 用 程序 可 以 满足 不 同 需 求 。CRM、ERP 和 社交 网 络 应 用 程序 无 疑 是 最 
典型 的 应 用 。SalesForce.com 可 能 是 CRM 服务 最 成 功 和 最 典型 的 例子 。 它 提供 了 广泛 的 应 
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用 服务 : 客户 关系 和 人 力 资源 管理 、 企 业 资 源 计 划 ， 以 及 其 他 功能 。SalesForce.com 建立 在 
Force.com 平 侣 上 ， 它 提供 了 一 个 用 于 构建 应 用 程序 的 功能 齐全 的 环境 ， 将 编程 语言 和 可 视 
化 环境 结合 在 一 起 来 构建 应 用 程序 。 除 了 基本 功能 外 ， 支 持 与 第 三 方 应 用 程序 集成 的 特性 使 
SalesForce.com 功能 更 加 丰富 。 特 别 地 ， 用 户 可 以 通过 AppExchange 发 布 、 搜 索 ， 以 及 把 新 
的 服务 或 功能 整合 到 其 现 有 的 应 用 程序 中 。 这 使 得 SalesForce.com 的 应 用 拥有 完全 的 可 扩展 
性 和 可 定制 性 。NetSuite 和 RightNow 也 提供 类 似 的 方案 。NetSuite 是 集成 软件 业务 ， 包 括 
财务 、 客 户 关 系 管 理 、 库 存 管理 和 电子 商务 等 一 体 化 的 功能 。RightNow 是 以 客户 体验 为 中 
心 的 SaaS 应 用 程序 ， 它 将 不 同 功 能 集成 在 一 起 ， 从 聊天 软件 到 Web 社区 软件 ， 以 支持 企业 
的 业务 活动 。 
男 一 类 SaaS 应 用 程序 用 于 社交 网 络 ， 如 Facebook 和 专业 网 站 LinkedIn。 除 了 提供 网 
络 基本 功能 ， 它 们 还 支持 集成 第 三 方 应 用 程序 来 整合 和 扩展 其 应 用 服务 功能 ， 这 些 应 用 服务 
功能 被 开发 为 托管 平台 的 插件 并 提供 给 用 户 。 如 Facebook， 用 户 可 以 选择 所 需 应 用 程序 加 
入 到 目 己 的 配置 文件 。 因 此 ， 集 成 的 应 用 程序 可 以 完全 访问 联系 人 的 网 络 和 用 户 配 置 文件 数 
据 。 这 些 应 用 包括 不 同 的 类 型 办公 自动 化 、 游 戏 或 其 他 已 有 服务 的 集成 。 
办 公 自 动 化 应 用 也 是 SaaS 应 用 的 主要 方面 ,谷歌 Documents 和 Zoho Office 是 基于 
Web 应 用 的 实例 ， 旨 在 解决 用 户 所 需要 的 文档 管理 、 电 子 表 格 和 演示 管理 。 它 们 提供 了 一 个 
基于 Web 的 界面 ， 用 于 创建 、 管 理 和 修改 文档 ， 这 些 文档 易于 在 用 户 间 共享 并 且 在 任何 地 
方 都 能 访问 。 
SaaS 解决 方案 发 挥 着 很 重要 的 作用 ， 它 提供 了 整合 第 三 方 服 务 以 及 共享 信息 的 环境 。 
一 个 成 功 的 例子 是 Box.net， 它 为 用 户 提 供 Web 空间 和 配置 文件 的 SaaS 应 用 程序 ， 并 利用 
第 三 方 应 用 程序 提供 丰富 的 可 扩展 应 用 ， 如 办 公 自 动 化 、 集 成 CRM 系统 、 社 交 网 站 和 照 卢 
编辑 
43 云 的 种 类 
云 计算 是 一 种 并 行 和 分 布 式 系统 ， 它 将 物理 机 和 虚拟 机 作为 统一 的 计算 资源 。 云 构建 基 
础 设施 并 以 服务 的 形式 实现 和 交付 给 客户 。 这 种 基础 设施 可 以 是 不 同类 型 的 ， 并 且 通 过 云 提 
供 关 于 属性 和 服务 的 信息 。 云 类 型 根据 云 管理 域 划分 ， 它 确定 了 云 计算 服务 实施 的 范围 ， 确 
定 适合 提供 某 种 服务 的 底层 基础 设施 ， 并 且 对 它们 都 做 了 规定 。 有 四 种 不 同类 型 的 云 ; 
© 公共 云 。 开 放 给 广大 公众 的 云 。 
e 私有 云 。 云 计算 是 在 一 个 机 构 内 实施 的 ， 通常 机 构成 员 或 子 成 员 可 以 访问 。 
o 混合 或 异 构 云 。 这 种 云 是 前 两 个 方案 的 组 合 ， 通 常 是 私有 云 资源 或 服务 经 扩展 后 可 
在 公共 云 中 部 署 。 

。 社区 云 。 这 种 云 的 特点 是 多 管理 域 包括 不 同 的 部 署 模型 (公共 、 私 有 和 混合 型 )， 专 
为 满足 特定 行业 的 需求 而 设计 。 

几乎 所 有 的 云 实 现 方式 都 可 以 按 此 分 类 ， 后 续 章 节 将 简要 介绍 不 同类 型 的 云 的 特征 。 


4.3.1 公共 云 


云 计算 的 第 一 种 表现 形式 是 公共 云 。 云 计算 的 权威 观点 是 可 以 通过 网 络 从 任何 地 方 、 在 
任意 时 间 、 向 任何 人 提供 可 用 服务 。 从 结构 上 看 ， 它 是 一 个 分 布 式 系统 ， 由 一 个 或 多 个 连接 
在 一 起 的 数据 中 心 构成 ， 云 计算 服务 在 数据 中 心 的 基础 上 得 以 实现 。 任 何 客户 可 以 方便 地 登 


86 RBD Æ æ 





录 云 服务 供应 商 ， 输 入 详细 的 账户 和 计 费 信息 ， 就 可 以 使 用 云 服务 供应 商 所 提供 的 服务 。 

公共 云 是 历史 上 实现 云 计 算 的 第 一 类 云 。 公 共 云 提供 了 最 大 限度 地 降低 IT 基础 设施 成 
本 的 解决 方案 ， 并 且 是 一 种 可 行 的 处 理 本 地 基础 设施 高 峰 负荷 的 有 效 方法 。 对 于 小 企业 而 
言 ， 公 共 云 已 经 成 为 一 种 有 吸引 力 的 选择 ， 企 业 可 以 完全 依赖 于 公共 基础 设施 来 满足 IT Ra 
求 ， 从 而 不 需要 大 量 的 前 期 投资 就 可 以 开展 业务 。 相 比 于 私有 设施 的 改造 和 软 硬 件 的 购置 ， 
公共 云 具有 如 此 吸引 力 的 原因 是 它 可 以 根据 相关 业务 的 需求 进行 增长 或 收缩 。 通 过 租用 基础 
设施 或 订购 应 用 程序 服务 ， 客 户 能 够 根据 实际 情况 动态 地 增加 或 缩减 自己 的 业务 。 目 前 ， 公 
共 云 既 可 以 完全 取代 企业 的 IT 基础 设施 ， 也 可 以 在 需要 的 时 候 对 其 进行 扩展 。 

公共 云 的 基本 特征 是 多 租户 。 公 共 云 的 目的 是 服务 众多 用 户 ， 而 不 是 单一 用 户 。 任 何 客 
户 都 想 拥有 一 个 与 其 他 使 用 者 分 离 的 虚拟 计算 环境 ， 这 是 有 效 监 控 用 户 活动 以 及 保证 用 户 期 
望 性 能 和 其 他 QoS 指标 的 基本 要 求 。QoS 管理 是 公有 云 的 一 项 非常 重要 的 功能 。 因 此 ， 软 
件 系统 的 重要 功能 之 一 是 监控 云 资源 ， 根 据 用 户 契 约 收费 ， 并 保存 每 个 用 户 使 用 云 计 算 的 完 
整 记 录 。 这 是 公有 云 的 基本 功能 ， 支 持 供应 商 向 用 户 提供 按 需 即 用 即 付 服务 。 

公共 云 可 以 提供 任何 类 型 的 服务 : 基础 设施 服务 、 平 台 服 务 或 应 用 服务 。 例 如 ， 亚 马 进 
EC2 是 提供 基础 设施 即 服 务 ( IaaS) 的 公共 云 ， 谷歌 AppEngine 是 提供 应 用 开发 平台 即 服务 
(PaaS) 的 公共 云 、SalesForce.com 是 提供 软件 即 服务 (SaaS) 的 公共 云 。 公 共 云 的 特性 是 其 
使 用 方式 : 公共 云 为 每 个 用 户 提 供 服 务 ， 并 支持 大 量 用 户 使 用 。 其 特点 是 按 需 扩展 能 力 和 文 
持 峰 值 负载 。 

从 系统 架构 的 角度 来 看 ， 没 有 限制 实现 公共 云 的 分 布 式 系统 的 类 型 。 最 常见 的 是 一 个 或 
多 个 数据 中 心 构成 物理 基础 设施 ， 然 后 在 其 上 部 署 实 现 服 务 并 交付 使 用 。 公 共 云 可 以 由 地 
理 上 分 散 的 数据 中 心 构成 ， 这 些 数据 中 心 分 担 用 户 任务 负载 ， 根 据 用 户 的 位 置 更 好 地 为 其 服 
Fo Ai, TAH Web 服务 的 数据 中 心安 装 在 美国 、 欧 洲 、 新 加 坡 和 澳大利亚 ， 人 允许 用 户 
在 三 个 不 同 区 域 之 间 进 行 选择 : 美国 - 西 -1， 美国 - 东 -1 或 欧盟 -~ 西 -1。 这 些 地 区 的 价 
格 有 所 不 同 ， 并 被 进一步 划分 为 可 用 性 区 域 ， 以 对 应 特定 的 数据 中 心 。 根 据 云 提供 的 具体 服 
务 类 型 ， 需 要 安装 不 同 层次 的 软件 来 管理 基础 设施 ， 包 括 : 虚拟 机 管理 器 、 分 布 式 中 间 件 或 
分 布 式 应 用 程序 。 


4.3.2 MAZ 


公共 云 非常 流行 ， 它 降低 了 IT 成 本 并 减少 了 资本 支出 ， 但 并 不 适用 于 所 有 情况 。 举 例 
来 说 ， 其 公认 缺点 是 云 用 户 采 用 云 计算 时 失去 了 控制 权 ， 在 公有 云 的 情况 下 ， 服 务 供应 商 控 
制 着 基础 设施 ， 甚 至 用 户 的 核心 业务 逻辑 和 敏感 数据 。 虽 然 有 监管 程序 保证 公平 管理 和 尊重 
客户 隐私 ， 但 这 种 情况 仍然 存在 威胁 或 不 可 接受 的 风险 ， 所 以 一 些 组 织 不 愿意 采用 公共 云 。 
特别 是 ,政府 和 军事 机 构 不 会 使 用 公有 云 处 理 或 存储 敏感 数据 。 供 应 商 可 能 把 安全 基础 设施 
中 的 信息 暴露 给 其 他 人 ， 这 样 的 风险 被 认为 是 不 可 接受 的 。 

在 其 他 情况 下 ， 失 去 对 虚拟 IT 基础 设施 的 控制 可 能 导致 其 他 问题 。 更 确切 地 说 ， 一 个 
数据 中 心 的 地 理 位 置 通常 决定 了 数字 信息 管理 的 规则 。 其 结果 是 ， 根 据 数据 的 具体 位 置 ， 如 
果 用 特定 的 加 密 技术 进行 处 理 ， 政 府 机 构 可 访问 一 些 敏 感 的 甚至 超出 法 律 范围 的 信息 。 例 
W, 美国 爱 国 者 法 案 ( USA PATRIOT Act) ”允许 政府 和 某 些 机 构 获 取 存 储 在 美国 本 土 的 属 


昌 美国 爱国 者 法 案 是 由 美国 政府 制定 的 法 规 ， 用 于 加 强 司法 机 构 搜索 电话 、 电 子 邮 件 、 医 疗 、 财 务 和 其 他 记录 
的 力度 ,限制 外 国情 报 机 构 在 美国 收集 情报 。 法 案 全 文 在 国会 数据 库 网 站 上 ， 网 址 http://thomas.loc.gov/cgi- 
bin/bdquery/z?d107:hr03 162: ( 2010 年 4 月 20 ARR). 
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于 任何 公司 的 信息 。 因 此 ， 现 有 的 拥有 大 规模 计算 基础 设施 或 安装 有 大 型 软件 的 企业 并 不 
想 商 单 地 切换 到 公共 云 ， 但 他 们 可 以 利用 现 有 的 IT 资源 提高 其 收益 。 这 些 因 素 导 致使 用 公 
共计 算 基 础 设施 并 不 一 定 总 是 可 行 的 。 然 而 ， 云 计算 的 总 体 思 路 依然 引 人 和 人 注目。 更 具体 地 
讨 ， 拥 有 基础 设施 并 能 够 按 需 提供 IT 服务 仍然 是 一 个 成 功 的 解决 方案 ， 即 使 是 在 一 个 机 
构 内 部 实施 。 这 种 想法 导致 了 私有 云 的 产生 ， 它 与 公共 云 很 相似 ， 但 其 资源 提供 在 组 织 内 
实现 。 

私有 云 是 虚拟 的 分 布 式 系统 ， 依 赖 于 私有 基础 设施 并 向 内 部 用 户 动态 提供 计算 资源 。 考 
虑 到 企业 内 不 同 部 门 的 云 计 算 使 用 情况 ， 取 而 代 之 的 可 能 是 其 他 方案 ， 而 不 是 公共 云 中 即 付 
即 用 的 计 费 模式 。 一旦 云 计 算 建 立 ， 便 可 依托 现 有 的 IT 基础 设施 且 维 护 成 本 降低 ， 使 得 私 
有 云 具有 保持 企业 内 部 核心 业务 的 优势 。 在 这 种 情况 下 ， 安 全 问题 并 不 重要 ， 因 为 敏感 信息 
不 会 从 私有 基础 设施 流出 。 此 外 ， 现 有 的 IT 资源 可 以 得 到 更 好 的 利用 ， 因 为 私有 云 可 以 为 
不 同 的 用 户 群 提供 服务 。 与 公共 云 相 比 ， 私 有 云 的 一 个 优势 是 可 以 以 一 个 较 低 的 价格 测试 应 
用 程序 和 系统 。Forreste 报告 [34] 强调 了 一 些 使 用 私有 云 计 算 基 础 设施 的 关键 优势 : 

e 客户 信息 保护 。 尽 管 公共 云 服务 供应 商 对 安全 性 做 出 了 承诺 ， 但 很 少 令 人 满意 ， 由 
于 推行 云 服务 的 时 间 不 够 长 ， 也 很 少 有 人 能 为 其 系统 特定 安全 等 级 提供 保证 。 私 有 
云 的 安全 保障 更 容易 维持 且 值 得 信赖 。 
保证 SLA 的 基础 设施 服务 。 服 务 质量 意味 着 提供 特定 的 操作 ， 如 适当 的 集群 和 故障 
处 理 、 数 据 复制 、 系 统 监 挖 和 维护 ， 以 及 灾难 恢复 和 其 他 满足 应 用 需求 的 正常 运行 
的 服务 。 虽 然 公 共 云 供应 商 提 供 了 一 些 功能 ， 但 不 是 所 有 功能 都 能 满足 需求 。 
服从 标准 程序 和 操作 。 如 果 组 织 必须 遵守 第 三 方 的 合 规 标准 ， 那 么 部 署 和 执行 应 用 
程序 时 ， 特 定 的 标准 程序 就 需要 被 替代 。 这 在 虚拟 公共 基础 设施 的 情况 下 是 不 可 
能 的 。 

这 些 方面 使 得 私有 云 成 为 可 行 的 选择 。 

从 系统 架构 的 角度 来 看 ， 私 有 云 可 以 在 更 多 异 构 硬 件 上 实现 ， 它 们 通常 依赖 于 已 经 部 
署 在 私有 场所 的 现 有 IT 基础 设施 。 这 些 基础 设施 可 能 是 数据 中 心 、 集 群 、 企 业 网 格 或 者 是 
它们 的 组 合 。 根 据 交付 给 云 计 算 使 用 者 的 服务 类 型 ， 物 理 层 可 以 由 基础 设施 管理 软件 〈 例 如 
IaaS (M)， 见 4.2.2 节 ) 或 者 PaaS 解决 方案 实现 。 

私有 云 的 实现 可 以 采用 不 同 的 方案 。 图 4-4 提供 了 解决 方案 的 全 面 视 图 以 及 一 些 用 来 部 
团 私 有 云 的 典型 参考 软件 。 在 软件 层次 结构 的 底层 ， 虚 拟 机 技术 (如 Xen[35], KVM[36] 
和 VMware) 作为 云 计 算 的 基础 。 虚 拟 机 管理 技术 (如 VMware vCloud、Eucalyptus [37] 以 
及 OpenNebula[38] ) 可 以 用 来 控制 虚拟 基础 设施 ， 并 提供 laas 解决 方案 。VMware vCloud 
是 一 个 专 有 的 解决 方案 , 但 Eucalyptus 提供 完整 的 与 亚马逊 Web 服务 兼容 的 接口 并 支持 不 
同 的 虚拟 机 技术 ， 如 Xen、KVM 和 VMware。 像 Eucalyptus 一 样 ，OpenNebula 是 一 个 开 
源 的 解决 方案 ， 用 于 虚拟 基础 设施 管理 ， 支 持 KVM、Xen 和 VMware， 这 种 设计 是 为 了 方 
便 地 集成 第 三 方 laas 供应 商 。OpenNebula 模块 化 架构 允许 扩展 软件 的 附加 功能 ， 如 使 用 
Haizea[39] 调度 器 预约 虚拟 机 实例 。 

OpenPEX[40] 和 InterGrid[41] 依赖 于 以 前 的 虚拟 机 管理 器 并 且 提 供 附件 功能 。 
OpenPEX 是 基于 Web 的 系统 ， 人 允许 预 留 虚拟 机 实例 ， 并 能 够 支持 不 同 的 后 台 终 端 (目前 
只 实现 了 对 Xen 的 支持 ) InterGrid 在 OpenNebula 和 亚马逊 EC2 基础 上 提供 附加 价值 服 


务 ， 支 持 虚拟 机 实例 的 预 留 和 多 管理 域 云 计算 环境 的 管理 。Paag 方案 可 以 提供 一 个 附加 层 ， 
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并 为 和 有 云 提供 高 层 服务 。 在 部 署 私 有 云 的 可 选 方案 中 ， 可 以 考虑 DataSynapse. Zimory 
Pools, Elastra 和 Aneka, DataSynapse 是 应 用 虚拟 化 软件 服务 的 全 球 供应 商 。 依 靠 VMware 
的 虚拟 化 技术 ，DataSynapse 提供 了 一 个 可 以 在 数据 中 心 上 构 建 私有 云 的 灵活 环境 。Elastra 
Cloud Server 是 易于 在 云 计算 环境 中 配置 和 部 署 分 布 式 应 用 基础 设施 的 平台 。Zimory 基于 
Xen, KVM 和 VMware 虚拟 化 技术 ， 提 供 了 可 以 自动 使 用 资源 池 的 软件 基础 设施 层 。 它 允 
许 创建 一 个 由 稀少 的 私人 和 公共 资源 组 成 的 内 部 云 ， 并 提供 用 于 在 现 有 的 基础 设施 中 迁移 应 
用 程序 的 工具 。Aneka 是 一 个 软件 开发 平台 ,可 以 用 于 在 异 构 硬 件 (数据 中 心 、 集 群 和 网 格 ) 
下 部 署 云 基础 设施 。 它 提供 了 一 个 插件 式 的 面向 服务 的 架构 ， 主 要 支持 基于 不 同 编程 模型 
(任务 背包 、MapReduce 等 ) 的 分 布 式 应 用 程序 的 执行 。 


平台 即 服务 解决 方案 
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ee 
图 4-4 ”私有 云 便 件 和 软件 层次 结构 


私有 云 可 以 为 云 计 算 提供 内 部 解决 方案 ， 但 与 公共 云 相 比 ， 私 有 云 在 按 需 进行 弹性 扩展 
方面 能 力 较 为 有 限 。 


4.3.3 混合 云 


公共 云 是 有 巨大 能 力 的、 足以 服务 于 多 个 用 户 需求 的 大 型 软 硬 件 基 础 设施 ， 但 是 受到 安 
全 威胁 和 管理 缺陷 的 影响 。 尽 管 对 于 不 希望 产生 IT 投入 成 本 或 刚 开 始 考 虑 其 IT 需求 的 企业 
(如 初创 企业 )， 完 全 依靠 公共 虚拟 基础 设施 是 有 吸引 力 的 选择 ， 但 在 大 多 数 情况 下 ， 依 靠 企 
业已 有 IT 基础 设施 构建 私有 云 却 相对 占 优势 。 

当 需 要 在 企业 内 部 处 理 信息 或 者 需要 使 用 现 有 的 硬件 和 软件 基础 设施 时 ， 私 有 云 是 比较 
完美 的 解决 方案 。 私 有 云 部 署 的 一 个 主要 缺点 是 不 能 按 需 扩 展 和 有 效 地 解决 峰值 负荷 。 在 这 
种 情况 下 ， 根 据 需 要 利用 公共 云 的 能 力 很 重要 。 因 此 ， 混 合 解决 方案 可 以 最 合理 地 利用 私有 
云 和 公共 云 的 优势 ， 使 得 混合 云 得 以 发 展 和 推广 。 

混合 云 使 企业 能 够 利用 现 有 的 IT 基础 设施 、 保 存 敏感 信息 、 按 需 自 动 扩展 和 缩减 资源 
使 用 、 按 需 增加 配置 外 部 资源 并 在 不 需要 时 释放 资源 。 安 全 问题 只 限于 云 计算 的 公共 操作 部 
分 ， 用 于 不 严格 约束 的 执行 操作 ， 但 该 部 分 仍然 是 系统 工作 负载 的 一 部 分 。 混 合 云 的 总 体 结 
构 如 图 4-5 所 示 ， 它 是 一 个 异 构 分 布 式 系统 ， 是 集成 了 一 个 或 多 个 公共 云 的 附加 服务 或 资源 
的 私有 云 ， 因 此 也 称 为 异 构 云 。 如 图 4-5 所 示 ， 动 态 分 配 是 混合 云 环境 的 基本 组 成 部 分 。 通 
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过 充分 利用 外 部 资源 满足 超 负 荷 需求 ， 混 合 云 解决 了 可 扩展 性 问题 。 这 些 资 源 或 服务 被 暂时 [135 
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图 4-5 混合 云 / 异 构 云 结构 简 图 


虽然 混合 云 的 概念 是 通用 的 ,但 它 主要 适用 于 IT 基础 设施 ， 而 不 是 软件 服务 。 面 向 服 
务 的 计算 已 经 引入 了 将 付费 软件 服务 与 企业 内 部 已 有 应 用 程序 集成 的 概念 。 在 laas 的 环境 
中 ， 动 态 分 配 指 的 是 按 需 获取 或 释放 虚拟 机 的 能 力 ， 以 增强 分 布 式 系统 的 功能 。 基 础 设施 管 
理 软件 和 PaaS 解决 方案 是 部 署 和 管理 混合 云 的 基本 模块 。 特 别 是 对 于 私有 云 ， 动 态 配置 包 
括 更 复杂 的 调度 算法 和 策略 ， 其 目标 是 优化 用 于 租用 公共 资源 的 预算 。 

基础 设施 管理 软件 (如 OpenNebula) 已 经 展现 出 整合 公共 云 (如 亚马逊 EC2 ) 资源 的 
能 力 。 在 这 种 情况 下 ， 从 公共 基础 设施 中 获得 的 虚拟 机 和 所 有 其 他 虚拟 机 实例 一 样 在 本 地 进 
行 统一 管理 。 不 过 ， 缺 少 能 够 区 分 这 些 资源 并 按 预 算 进 行 智能 资源 分 配 的 先进 调度 引擎 。 例 
如 ，OpenNebula 集成 了 Haizea 的 先进 调度 引擎 来 提供 基于 成 本 的 调度 算法 。InterGrid WH 
取 了 一 种 不 同 的 方法 。 它 本 质 上 是 在 多 个 网 络 节点 中 管理 和 分 配 虚拟 机 的 分 布 式 调度 引擎 ， 
网 络 节点 可 以 是 本 地 集群 、 公 共 云 的 网 关 或 两 者 的 结合 。 请 求 一 旦 被 提交 给 InterGrid HH 
一 网 关 ， 就 可 能 为 其 分 配 所 有 网 络 节点 上 的 虚拟 实例 ， 根 据 用 户 的 预算 和 网 络 节 点 结构 为 请 
求 分 配 资源 。 

动态 分 配 是 支持 混合 云 的 PaaS 解决 方案 中 最 常见 的 功能 。 如 前 面 所 讨论 的 ，Paas 中 间 
件 的 基本 功能 是 实现 分 布 式 应 用 程序 到 云 基础 设施 的 映射 。 在 这 种 情况 下 ， 动 态 分 配 成 为 满 


O 根据 Wiki 对 云 计 算 的 解释 ， 云 爆发 有 双重 含义 ， 也 指 “ 云 计算 环境 不 能 处 理 峰 值 罕 发 需求 时 出 现 故障 ” 
( http://sites.google.com/site/ Cloudcomputingwiki/Home/Cloud-computing-vocabulary ) - 本 书 中 云 爆 发 都 是 指 公 
共 云 资源 的 动态 提供 。 
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足 用 户 QoS 的 应 用 执行 的 根本 保障 。 例 如 ，Aneka 提供 了 一 个 调配 服务 ， 可 以 利用 不 同 的 
laas 供应 商 扩展 现 有 的 云 计 算 基 础 设施 [42] 。 该 调配 服务 和 调度 器 一 起 保证 应 用 程序 的 特 
定 QoS。 特 别 地 ， 每 个 用 户 应 用 程序 都 有 预算 ， 调度 胡可 以 使 用 该 预算 通过 按 需 租用 虚拟 市 
点 来 优化 应 用 程序 的 执行 。 其 他 PaaS 实现 支持 混合 云 的 部 署 且 提供 动态 分 配 功能 。 在 这 些 
私有 云 的 实施 和 管理 中 ，Elastra CloudServer 和 Zimory Pools 是 很 好 的 实例 。 


4.3.4 社区 云 
社区 云 是 通过 整合 不 同 的 云 服务 ， 为 满足 一 个 行业 、 一 个 社区 或 一 个 业务 部 门 的 特定 需 


求 而 创建 的 分 布 式 系统 。 国 家 标准 和 技术 研究 院 (NIST) [43] 对 社区 云 的 描述 如 下 : 


基础 设施 由 几 个 组 织 共享 ， 并 支持 关注 共同 问题 (例如 ， 任 务 、 安 全 要 求 、 政 

策 和 法 规 ) 的 特定 社区 。 它 可 以 由 组 织 或 第 三 方 负责 管理 ， 并 且 可 能 存在 于 组 织 内 

部 或 外 部 。 

图 4-6 描述 了 社区 云 的 使 用 场景 和 参考 架构 。 特 定 社区 云 的 使 用 者 分 成 标识 明显 的 不 同 
社区 ， 关 注 同 样 的 问题 或 具有 相同 的 需求 。 他 们 可 以 是 政府 机 构 、 企 业 或 简单 用 户 ， 但 关注 
的 云 环境 交互 问题 相同 。 社 区 云 既 与 服务 于 众多 用 户 的 公共 云 不 同 也 与 服务 于 机 构 内 部 的 私 
有 云 不 同 。 
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图 4-6 社区 云 


从 架构 的 角度 来 看 ， 社 区 云 可 在 多 个 管理 域 上 实施 。 这 意味 着 ,政府 机 构 、 私 有 企业 、 
科研 机 构 甚 至 是 公共 的 虚拟 基础 设施 供应 商 等 不 同 的 组 织 ， 都 可 以 利用 他 们 的 资源 来 构建 云 
基础 设施 。 

采用 社区 云 的 行业 如 下 : 

o 媒体 行业 。 媒 体 行 业 公 司 都 在 寻找 低 成 本 、 灵 活 和 简单 的 解决 方案 ， 以 提高 产品 效 
率 。 大 多 数 媒体 产业 是 与 合作 伙伴 组 成 的 业务 扩展 生态 系统 。 特 别 地 ， 数 字 内 容 的 
创建 是 一 个 合作 的 过 程 ， 包 括 大 数据 移动 、 大 规模 的 计算 密集 型 浑 染 任务 以 及 复杂 
的 工作 流 执行 。 社 区 云 可 以 提供 一 个 促进 企业 和 企业 合作 的 共享 环境 ， 并 有 效 提供 
媒体 制作 所 需 的 带宽 、CPU 和 存储 能 力 。 


HAF AZAUYARH YI 


e 医疗 行业 。 社 区 云 也 可 以 应 用 在 医疗 行业 。 特 别 地 ， 社 区 云 可 以 提供 一 个 全 球 性 平 
台 ， 在 不 泄露 保存 在 私有 基础 设施 内 的 敏感 数据 的 前 提 下 共享 信息 和 知识 。 社 区 云 
的 混合 部 署 模式 可 以 很 容易 地 实现 将 病人 相关 数据 存储 在 私有 云 中 ， 而 使 用 共享 基 
础 设施 来 提供 非 关键 医疗 服务 和 自动 处 理 流程 。 
e 能 源 等 核心 产业 。 在 这 些 部 门 ， 社 区 云 可 以 提供 一 整套 的 解决 方案 ， 同 时 自 上 而 下 
执行 管理 、 部 署 和 服务 协同 及 执行 。 由 于 这 些 产 业 涉 及 不 同 的 供应 商 、 销 售 商 和 组 
织 ， 社 区 云 可 以 提供 合适 的 支持 开放 和 公平 的 市 场 环 境 的 基础 设施 。 
e 公共 部 门 。 公 共 部 门 的 法 律 和 政治 条 款 可 以 限制 公共 云 的 使 用 。 此 外 ， 政 府 流程 涉 
及 多 个 机 构 和 组 织 ， 目 的 是 在 地 方 、 国 家 和 国际 层面 提供 战略 方案 。 涉 及 商业 对 行 
政 、 公 民 对 政府 和 商业 对 商业 流程 。 例 如 发 票 审批 、 基 础 设施 规划 和 公开 听证 会 。 
社区 云 提供 了 用 于 创建 此 类 操作 交流 平台 的 分 布 式 环境 。 
e 科学 研究 。 科 学 计算 云 是 社区 云 流行 的 实例 。 在 这 种 情况 下 ， 共 同 的 科研 兴趣 促使 
不 同 的 组 织 共享 大 型 分 布 式 基础 设施 的 方式 是 科学 计算 。 
社区 云 是 云 计 算 的 一 个 更 具体 的 类 型 ， 它 关注 在 云 计算 中 对 销售 商 的 控制 ， 并 把 云 计 
算 的 案例 研究 和 数字 生态 系统 [44] 原则 相 结 合 。 社 区 云 利用 用 户 机 器 [45] 未 充分 使 用 的 
资源 ， 提 供用 户 、 生 产 者 和 服务 协同 代理 都 能 在 同一 时 间 访 问 的 基础 设施 。 社 区 云 的 优点 
如 下 : 
开放 性 。 社 区 云 是 开放 的 系统 ， 存 在 不 同 的 方案 ， 消 除了 对 云 供应 商 的 依赖 。 
共同 体 。 社 区 云 基于 公共 平台 提供 资源 和 服务 ， 其 基础 设施 更 具 可 扩展 性 ， 随 着 其 
用 户 群 的 扩大 ， 系 统 易于 扩展 。 
非 单 点 故障 。 由 于 不 是 由 单一 供应 商 来 控制 基础 设施 ， 所 以 没有 单 点 故障 。 
便利 和 可 控 。 在 社区 云 中 便利 性 和 可 控 性 之 间 没 有 冲突 ， 因 为 云 是 共享 的 ， 由 社区 
共同 拥有 ， 所 有 决定 都 由 集体 民主 决定 。 
环境 的 可 持续 性 。 社 区 云 碳 排 放量 小 ， 因 为 它 能 利用 未 充分 使 用 的 资源 。 此 外 ， 这 
些 云 根 据 一 种 共生 的 关系 扩展 或 收缩 资源 来 支持 社区 的 需求 ， 具 有 可 持续 性 。 
这 是 社区 云 的 另 一 种 设想 ， 更 注重 云 的 社会 层面 ， 集 成 社区 成 员 的 资源 以 提供 云 环境 。 
之 前 的 定义 也 体现 出 了 建立 异 构 基 础 设施 以 服务 于 社区 用 户 的 理念 ， 但 更 关注 社区 用 户 的 共 
同 利益 。 在 这 两 种 情况 下 ， 基 础 都 是 社区 的 概念 。 


44 云 计算 经 济 特 性 


云 计算 的 主要 驱动 因素 是 规模 经 济 以 及 简单 的 软件 交付 和 操作 。 其 实 ， 最 大 的 好 处 体现 
在 经 济 方面 : 由 云 服 务 供应 商 采用 即 用 即 付 模式 。 具 体 而 言 ， 云 计算 优点 如 下 : 

o 减少 IT 基础 设施 的 投入 成 本 。 

。 消除 了 与 IT 固定 资产 相关 的 折旧 成 本 。 

e 以 订阅 方式 替代 软件 许可 。 

© 降低 了 IT 资源 的 维护 和 管理 成 本 。 

资本 成 本 是 购买 资产 的 成 本 ， 用 于 产品 生产 或 提供 服务 。 资 本 成 本 通常 是 预先 支付 的 一 


O 数字 生态 系统 是 分 布 式 的 、 自 适应 的 开放 技术 系统 ， 受 自然 生态 系统 启发 ， 具 有 自 组 织 、 可 扩展 、 可 持续 特 
性 。 数 字 生 态 系统 的 主要 目的 是 维持 小 型 和 中 型 企业 的 区 域 性 发 展 。 
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次 性 花费 ， 通 常 经 过 一 段 时 间 后 产生 利润 。IT 基础 设施 和 软件 就 是 资本 资产 ， 因 为 企业 需 
要 它们 来 开展 业务 。 目 前 ， 企 业 的 主 营业 务 是 否 涉 及 IT 并 不 重要 ， 因 为 企业 内 部 肯定 会 有 
一 个 IT 部门 来 处 理 许多 信息 化 业务 : 工资 核算 、 客 户 关 系 管理 、 企 业 资 源 规划 、 产 品 跟 蹊 
和 库存 管理 等 。 因 此 ， 对 于 任何 企业 ，IT 资源 都 构成 了 其 资本 成 本 。 尽 量 保持 低 资 本 成 本 
是 很 好 的 做 法 ， 因 为 企业 投入 的 资金 要 经 过 一 段 时 间 后 才能 产生 利润 ; 但 更 重要 的 是 ， 这 
些 投 入 的 资产 会 随 着 时 间 不 断 贬值 ， 且 该 成 本 会 从 企业 的 收入 中 减 去 ， 从 而 降低 了 企业 的 利 
Wo IT 资本 成 本 的 折旧 费用 ， 就 是 随 着 时 间 的 推移 带 来 的 硬件 贬值 ， 以 及 因为 需要 增加 新 
功能 而 带 来 的 软件 产品 更 新 。 

云 计算 在 企业 中 实现 普及 之 前 ， 花 费 在 IT 基础 设施 和 软件 上 的 预算 构成 了 中 型 和 大 型 
企业 的 主要 成 本 支出 。 许 多 企业 都 拥有 一 个 小 型 或 中 型 的 数据 中 心 ， 并 且 涉 及 维护 、 电 力 和 
冷却 方面 的 运营 成 本 ， 以 及 维护 IT 部门 和 IT 技术 支持 的 成 本 。 此 外 ， 还 有 其 他 购 丑 软件 的 
昂贵 费用 。 采 用 云 计算 方式 后 ， 这 些 成 本 显著 降低 ， 其 至 完全 消失 。 其 中 云 计算 模式 的 优势 
之 一 ， 是 将 先前 用 于 购买 硬件 和 软件 的 资本 成 本 转移 为 租用 基础 设施 和 订阅 软件 的 费用 。 这 
些 费 用 可 以 根据 业务 需求 和 企业 的 情况 得 到 更 好 的 控制 。 云 计算 还 降低 了 管理 和 维护 成 本 . 
也 就 是 说 ， 不 需要 或 很 少 需要 管理 人 员 去 维护 云 基础 设施 。 同 时 ，IT 技术 支持 人 员 的 成 本 
也 降低 了 。 企 业 将 不 会 面临 IT 资源 的 贬值 问题 ， 因 为 在 这 种 情况 下 ，IT 需求 都 由 云 计 算 来 
提供 服务 ， 不 存在 固定 资产 折旧 。 

云 计 算 为 企业 节约 成 本 的 多 少 与 使 用 云 计 算 服 务 的 具体 方案 有 关 ， 还 与 它们 为 企业 产生 
利润 与 方式 有 关 。 小 型 企业 创业 初期 可 以 在 以 下 方面 采用 云 计算 模式 ， 例 如 

e IT 基础 设施 。 

e 软件 开发 。 

e 客户 关系 管理 (CRM) 和 企业 资源 规划 (ERP). 

在 这 种 情况 下 有 可 能 完全 消除 资本 成 本 ， 因 为 没有 初始 IT 投入。 如 果 企 业 中 已 经 有 相 
当 规 模 的 IT 资产 ,情况 便 会 完全 不 同 。 此 时 ， 云 计算 (特别 是 laas 解决 方案 ) 可 以 帮助 管 
理 企业 短期 内 所 产生 需求 的 计划 外 资本 成 本 ,将 这 些 费 用 转变 成 运营 成 本 。 例 如 ， 租 用 IT 
基础 设施 有 助 于 更 有 效 地 管理 高 峰 负荷 而 没有 额外 资本 支出 。 只 要 增加 的 负载 并 不 使 用 额外 
的 资源 ， 这 些 资源 就 可 以 释放 ， 这 样 与 资源 相关 的 成 本 就 没有 了 。 这 是 大 多 数 企 业 采 用 的 云 
计算 模型 ， 因 为 很 多 企业 已 经 拥有 IT 设施。 另 一 种 方式 是 当 投 入 的 IT 资产 贬值 并 需要 更 换 
时 ， 绥 慢 地 过 渡 到 云 计 算 解 决 方案 。 在 这 两 种 情况 之 间 ， 有 各 种 各 样 的 云 计 算 方案 可 以 帮助 
企业 创造 利润 。 

云 计算 的 另 一 个 重要 方面 是 降低 了 由 IT 资产 所 产生 的 一 些 间接 成 本 ， 如 软件 许可 、 碳 
排放 。 有 了 云 计算 ,企业 基于 订阅 方式 使 用 应 用 软件 ， 无 需 支 付 任何 许可 费用 ， 因 为 软件 仍 
然 是 由 服务 供应 商 拥 有 。 充 分 利用 laas 解决 方案 ， 可 以 节省 数据 中 心 的 空间 ， 从 而 减少 碳 
排放 。 有 些 国家 (如 澳大利亚 ) 对 碳 排放 征 税 ， 因 此 ， 通 过 减少 或 完全 消除 碳 排放 ， 企 业 可 
以 少 缴 税 款 。 | 

关于 云 计 算 的 定价 模式 ， 服 务 供应 商 采 用 三 种 不 同 的 策略 ; 

® 分 等 级 定价 。 在 此 定价 模型 中 ， 云 服务 按 服务 等 级 提供 ， 每 个 等 级 服务 都 有 固定 的 

计算 服务 规范 ， 并 且 按 SLA 以 小 时 为 单位 定价 。 亚 马 逊 按 此 形式 对 EC2 服务 定价 ， 
不 同 的 计算 能 力 配置 (CPU 的 类 型 、 速 度 、 内 存 )， 其 服务 定价 不 同 。 
© 服务 单位 定价 。 这 种 模式 更 适合 于 云 服务 供应 商 提 供 的 具体 服务 可 以 以 单位 计算 的 
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情况 ， 如 数据 传输 和 内 存 分 配 。 在 这 种 情况 下 ， 客 户 可 以 根据 应 用 的 需要 更 有 效 地 
配置 系统 。 例 如 ，GoGrid 采用 的 就 是 该 模型 ， 使 得 客户 可 以 按 RAM/ 小 时 使 用 部 署 
在 GoGrid 中 的 云 服 务 器 。 
© 基于 订阅 定价 。SaaS 供应 商 大 多 采用 此 模型 ， 用 户 定 期 支付 订阅 费 来 使 用 软件 或 集 
成 在 应 用 程序 中 的 特定 组 件 服务 。 
所 有 成 本 都 基于 即 用 即 付 的 模式 ， 这 是 一 种 更 灵活 的 按 需 交付 IT 服务 的 方法 。 这 使 得 
IT 帝 本 成 本 转换 为 运营 成 本 ， 因 为 购买 硬件 的 成 本 变 成 了 租用 硬件 的 成 本 ,购买 软件 的 成 
本 变 成 了 为 使 用 软件 所 支付 的 订阅 费 。 


45 云 计 算 面 临 的 挑战 


云 计 算 仍 处 于 起 步 阶 段 ， 在 工业 界 和 学 术 界 还 存在 许多 挑战 。 目 前 学 术 界 的 一 个 重要 工 
作 就 是 确定 云 计算 面临 的 挑战 [46 ~ 49] 。 本 节 关 注 的 重点 包括 : 云 计算 的 定义 和 形式 、 不 
同 云 之 间 的 互 操 作 、 标 准 的 建立 、 安 全 性 、 可 扩展 性 、 容 错 以 及 组 织 方面 。 

45.1 云 计 算 定义 

如 前 所 述 ， 已 经 有 一 些 云 计算 的 定义 及 其 所 提供 的 服务 和 技术 的 分 类 。 其 中 NIST 给 出 
了 最 全 面 的 云 计 算 摘 述 [43]。 它 概括 的 云 计算 特征 包括 : 按 需 自助 服务 、 广 泛 的 网 络 访问 、 
资源 池 、 人 快速 灵活 和 计量 服务 ; 服务 分 类 有 SaaS, PaaS 和 IaaS ; 部 署 模型 分 为 公共 云 、 私 
有 云 、 社 区 云 和 混合 云 。 这 种 观点 被 许多 IT 从 业者 和 学 者 认同 。 

除了 NIST 给 出 的 定义 ， 还 有 其 他 云 服务 分 类 。David Linthicum, BlueMountains 实验 
室 的 创始 人 ， 提 出 了 更 为 详细 的 分 类 ”， 描 述 了 10 种 不 同 的 更 适合 企业 实施 的 云 计算 分 类 。 
加 州 大 学 圣 巴巴 拉 分 校 (UCSB) 采取 了 不 同方 法 [50] ， 脱 离 了 Xaas 的 概念 ， 并 试图 定义 
云 计 算 的 本 体 概念 。 他 们 把 云 的 概念 分 解 为 五 个 主要 层次 : 应 用 程序 、 软 件 环境 、 软 件 基础 
设施 、 软 件 内 核 和 硬件 。 每 一 层 都 针对 云 计算 社区 内 不 同 用 户 的 需求 ， 并 且 大 多 数 都 建立 在 
基础 层 上 。 作 者 描述 这 项 工作 是 首次 在 不 同 云 实体 之 间 实 现 了 功能 层面 和 语义 层面 的 交互 
模型 。 

这 些 特性 和 分 类 反映 了 云 计算 现 阶 段 的 含义 ， 但 处 于 起 步 阶 段 的 云 计 算 也 在 不 断 发 展 ， 
这 也 是 云 计算 的 真正 本 质 。 值 得 注意 的 是 ， 本 书 描述 的 云 计算 定义 及 主要 特征 只 是 一 个 参 
著 ， 它 会 不 断 地 随时 间 变 化 而 完善 。 


452 云 计 算 互 操作 性 和 标准 


云 计算 以 一 种 基于 服务 的 模式 来 提供 IT 基础 设施 和 应 用 ， 就 像 公用 事业 基础 设施 服务 
一 样 ， 如 能 源 、 水 、 电 。 为 了 充分 实现 这 一 目标 ， 建 立 不 同 服务 供应 商 解决 方案 之 间 的 互 操 
作 性 标准 至 关 重 要 。 对 服务 供应 商 的 依赖 性 是 各 个 阶段 无 颖 采用 云 计算 技术 的 障碍 之 一 ， 这 
将 妨碍 用 户 使 用 其 他 服务 供应 商 的 解决 方案 ， 或 即使 可 以 使 用 ， 也 会 产生 相当 大 的 转换 成 
本 ， 并 需要 大 量 的 时 间 。 而 改变 服务 供应 商 的 情况 是 有 可 能 发 生 的 ， 因 为 客户 需要 找到 一 个 
更 合适 的 解决 方案 来 满足 他 们 的 需要 ， 或 者 服务 供应 商 已 经 不 能 继续 提供 用 户 所 需 的 服务 。 
云 计算 采用 并 实际 执行 的 标准 可 以 实现 互 操作 并 减少 服务 依赖 性 带 来 的 风险 。 


© David Linthicum， 云 计算 概念 框架 ，http://Cloudcomputing.sys-con.com/node/811519。 
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目前 云 计 算 中 标准 和 互 操作 性 的 情况 类 似 于 早期 的 互联 网 时 代 ， 当 时 在 协议 和 技术 的 使 
用 上 并 没有 共同 的 标准 ， 每 个 组 织 都 有 自己 的 网 络 。 然 而 ， 走 向 标准 化 进程 的 第 一 步 已 经 迈 
出 ， 云 计算 互 操作 论坛 (CCIF) 9 、 开 放 云 联盟 8 和 DMTF 云 标准 孵化 器 > 等 组 织 都 是 标准 化 
工作 的 先行 者 。 另 一 个 值得 关注 的 倡议 是 开放 云 计 算 声明 ” ， 它 体现 了 在 该 领域 开放 标准 对 
各 利益 相关 方 的 好 处 。 

标准 化 的 工作 大 多 涉及 云 计 算 架 构 的 底层 。 特 别 是 在 laas 市 场 ， 供 应 商 所 有 的 虚拟 机 
形式 导致 了 对 服务 供应 商 的 依赖 。 努 力 在 laas 供应 商 之 间 提 供 兼 容 的 虚拟 机 镜像 可 以 提高 
互 操作 能 力 。 开 放 虚 拟 化 格式 (OVF) [51] 试图 给 出 描述 虚拟 机 镜像 的 存储 信息 和 元 数据 的 
通用 格式 。 尽 管 OVF 提供 了 完整 的 与 平台 无 关 的 封装 和 分 发 虚拟 机 镜像 的 规范 ， 但 很 少 有 
厂商 参照 此 规范 导入 静态 虚拟 机 镜像 。 云 计算 面临 的 挑战 是 制定 支持 运行 实例 迁移 的 标准 ， 
即 完 全 透明 地 从 一 个 基础 设施 供应 商 迁 移 到 另 一 个 基础 设施 供应 商 。 

另外 ， 标 准 化 工作 的 另 一 目标 是 为 云 计 算 系 统 设计 通用 的 参考 架构 ， 并 提供 标准 的 交互 
接口 。 目 前 ， 不 同 解 决 方案 之 间 的 兼容 性 非常 有 限 ， 缺 乏 统一 的 用 于 与 云 计 算 服 务 供应 商 进 
行 交互 的 API。 在 laas 产品 市 场 中 ，AWS 发 挥 着 主导 作用 ， 其 他 laas 解决 方案 大 多 是 开源 
的 ， 提 供 兼 容 AWS 的 API， 从 而 可 作为 有 效 的 替代 产品 。 即 使 在 这 种 情况 下 ， 设 计 与 aas 
(通常 是 XaaS) 交互 的 通用 API 依然 没有 统一 的 趋势 ， 将 来 这 一 领域 会 有 相当 大 的 发 展 。 


4.5.3 可 扩展 性 和 容错 性 


按 需 扩展 能 力 是 云 计算 最 具 吸 引力 的 特点 之 一 。 云 计算 支持 在 现 有 IT 资源 之 外 进行 扩 
展 ,无论 是 基础 设施 (计算 和 存储 ) 还 是 应 用 程序 服务 。 要 实现 这 样 的 功能 ， 云 中 间 件 必须 
按 具 有 不 同 规模 的 可 扩展 性 的 原则 进行 设计 ， 例 如 性 能 、 规 模 和 负载 。 云 中 间 件 管理 着 数量 
庞大 的 资源 和 用 户 ， 这 是 依赖 于 云 计算 才能 获得 的 效果 ， 而 企业 系统 要 想 具 有 此 功能 必须 承 
担 相当 大 的 管理 成 本 和 维护 成 本 。 而 这 些 成 本 是 实际 用 于 开发 、 管 理 和 维护 云 计算 中 间 件 并 


， 辐 客户 提供 服务 的 开销 。 在 这 种 情况 下 ， 容 错 能 力 是 基本 要 求 ， 有 时 甚至 比 提供 一 个 非常 有 


效 和 优化 的 系统 更 重要 。 因 此 ， 云 计算 所 面临 的 挑战 是 设计 高 度 可 扩展 的 和 容错 的 系统 ， 且 
易于 管理 ， 同 时 可 以 提供 具有 竞争 力 的 性 能 。 


45.4 安全 、 可 信和 隐私 


安全 、 可 信和 隐私 问题 是 云 计算 普及 的 主要 障碍 。 传 统 的 加 密 技术 用 于 防止 算 改 数据 和 
访问 敏感 信息 。 虚 拟 化 技术 的 大 量 使 用 使 现 有 系统 面临 着 新 的 威胁 ， 这 是 以 前 没有 考虑 过 
的 。 例 如 ， 在 云 中 托管 的 应 用 程序 可 以 处 理 敏 感 信息 ， 这 样 的 信息 可 以 存储 在 云 存 储 设备 
中 ， 并 使 用 先进 的 密码 技术 来 保护 数据 ， 不 经 允许 不 能 访问 。 虽 然 这 些 数据 是 在 内 存 中 进行 
处 理 ， 但 它们 必须 由 合法 的 应 用 程序 解密 ， 然 而 由 于 应 用 程序 托管 在 虚拟 环境 中 ， 虚 拟 机 管 
理 从 就 可 以 访问 这 些 应 用 程序 的 内 存 页 。 这 种 情况 的 出 现 是 因为 缺乏 对 应 用 程序 执行 环境 的 
控制 ,使 得 利用 现 有 技术 的 新 方法 又 给 应 用 程序 的 安全 性 带 来 了 新 威胁 。 数 据 和 流程 控制 的 
缺乏 使 用 户 对 供应 商 的 信任 和 需要 的 隐私 级 别 成 为 严重 的 问题 。 


www.Cloudforum.org., 
www.opencloudconsortium.org. 
www.dmtf.org/about/cloud-incubator, 
www.opencloudmanifesto.org. 
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Fu, HP rs Be RE Fe Fis FEARS ED; 另 一 方面 ， 具 体 规定 可 以 直接 控制 服务 供 
应 商 与 用 户 签订 的 信息 保密 性 协议 。 而 且 ， 交 付 给 终端 用 户 的 云 服务 是 复杂 的 多 层次 服务 ， 由 
第 三 方 云 服务 供应 商 提供 。 在 这 种 情况 下 ， 服 务 的 交付 将 涉及 多 责任 链 ， 包 括 数据 的 安全 管 
理 、 隐 私 规则 的 实施 以 及 对 服务 供应 商 的 信任 ， 每 个 环节 都 可 能 带 来 了 较 严 重 的 脆弱 性 。 特 
别 是 检测 到 侵犯 隐私 或 非法 访问 敏感 信息 时 ， 很 难 确定 谁 应 该 为 这 样 的 违法 行为 负责 。 因 此 
云 计算 所 面临 的 挑战 是 如 何 从 不 同 的 角度 (如 技术 、 社 会 和 法 律 等 ) 设计 安全 和 可 信 的 系统 。 


4.5.5 组 织 方面 


云 计 算 引 入 了 一 个 新 的 方式 来 使 用 和 管理 IT 服务 。 更 具体 地 说 ， 存 储 、 计 算 能 力 、 网 
络 基础 设施 和 应 用 程序 都 通过 互联 网 以 可 计量 的 服务 形式 来 交付 。 这 就 引入 了 计 费 模式 ， 这 
在 传统 企业 的 IT 部 门 内 是 种 新 的 方式 ， 需 要 一 定 程度 的 文化 和 组 织 处 理 程序 。 特 别 是 为 了 
接受 云 计算 模式 ， 业 务 流程 和 组 织 结构 将 需要 进行 显著 地 改变 。 那 么 ，IT 部 门 在 这 个 新 方 
案 中 的 作用 是 值得 考虑 的 问题 。 具 体 而 言 ， 以 下 几 个 问题 必须 考虑 : 

© 在 全 部 或 显著 依赖 于 云 计算 的 企业 中 ，IT 部 门 扮 演 着 什么 角色 ? 

o 当 缺 乏 对 应 用 程序 工作 流 的 控制 时 ， 监 察 部 门将 如 何 履行 职责 ? 

e 服务 的 某 些 方面 失去 控制 将 会 产生 哪些 影响 (政治 、 法 律 等 ) ? 

o 终端 用 户 对 服务 的 满意 程度 ? 

从 组 织 结构 的 角度 来 看 ， 在 数据 和 流程 的 管理 上 缺乏 控制 不 仅 存 在 安全 威胁 ， 而 且 还 会 
带 来 前 所 未 有 的 新 问题 。 以 前 当 计 算 机 系统 出 了 问题 时 ， 组 织 制定 战略 和 人 解决 方案 来 处 理 ， 
往往 依靠 的 是 企业 IT 人 员 的 专业 技术 和 知识 。 将 IT 基础 设施 和 服务 转移 到 云 计算 环境 的 一 
个 主要 优点 是 减少 或 完全 消除 相关 的 维护 和 技术 支持 成 本 。 因 此 ， 云 服务 用 户 无 需 排 除 IT 
故障。 同时 ， 现 有 的 IT 人 员 需 要 有 不 同类 型 的 能 力 ， 但 一 般 只 需要 较 少 的 技能 ， 从 而 降低 
了 他 们 的 价值 。 这 是 云 计 算 从 组 织 结构 的 角度 必须 面 对 的 挑战 ， 这 将 显著 改变 企业 不 同 部 门 
之 间 的 关系 。 


本 章 小 结 

本 意 讨 论 了 云 计算 的 基本 特征 ， 并 介绍 了 云 服务 分 类 和 组 织 结构 的 参考 架构 。 为 了 更 好 
地 总 结 本 章 内 容 ， 我 们 可 以 回顾 NIST 给 出 的 云 计 算 定 义 ， 它 概述 了 如 下 几 个 基本 方面 : 

eo 五 个 基本 特征 。 按 需 自助 服务 、 广 泛 的 网 络 访问 、 资 源 池 、 人 快速 灵活 和 计量 服务 。 

© 三 种 服务 模式 。 软 件 即 服务 (SaaS)、 平 台 即 服务 (PaaS) 和 基础 设施 即 服 务 CaaS). 

e 四 个 部 署 模型 。 公 共 云 、 私 有 云 、 社 区 云 和 混合 云 。 

采用 云 计 算 的 主要 驱动 力 在 于 经 济 和 简便 的 软件 交付 和 操作 。 云 计算 通过 降低 IT 资产 
的 资本 成 本 并 将 其 转化 成 运营 成 本 ， 从 而 增加 企业 利润 。 基 于 这 些 原 因 ， 本 章 还 讨论 了 云 计 
算 的 经 济 和 成 本 模型 。 

虽然 云 计 算 已 经 被 工业 界 迅 速 采用 ,但 仍然 存在 开放 性 的 挑战 问题 ， 如 云 计算 系统 的 管 
理 、 安 全 性 以 及 社会 和 组 织 问题 。 在 支持 云 计算 的 软件 基础 设施 和 模型 方面 也 有 显著 的 发 展 


空间 。 
习题 
1. 缩写 Xaas 代表 什么 含义 ? 
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. 云 计 算 参 考 模 型 中 有 哪些 基本 组 件 ? 

. 基础 设施 即 服 务 指 的 是 什么 ? 

. 云 计 算 laas 解决 方案 的 基本 组 成 部 分 是 什么 ? 

. 举 出 实现 laas 的 例子 。 

. 平台 即 服务 方案 的 主要 特征 是 什么 ? 

. 描述 在 PaaS 市 场 中 可 选 的 不 同类 型 有 了 哪些 ? 

. 缩写 SaaS 是 什么 意思 ? 它 与 云 计算 有 什么 关系 ? 
. 列举 一 些 典 型 的 软件 即 服 务 解 决 方案 。 

. 云 的 不 同 分 类 有 了 哪些? 

. 举 出 公共 云 的 例子 。 

. 秘 有 云 最 常见 的 案例 是 什么 ? 

. 了 哪些 需求 是 通过 异 构 云 解决 的 ? 

. 描述 云 计 算 的 经 济 和 商业 模式 的 基本 特征 。 

- 云 计算 是 如 何 减少 产品 投入 市 场 的 时 间 和 降低 资本 支出 的 ? 
: 列 出 云 计 算 存 在 的 挑战 。 
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Aneka: 云 应 用 平台 


Aneka 平台 是 Manjrasoft 公司 推出 的 关于 云 应 用 开发 、 使 用 、 管 理 的 解决 方案 。Aneka 
包括 一 个 可 在 异 构 计算 平台 上 部 署 的 可 扩展 云 中 间 件 。 它 为 云 应 用 提供 了 一 系列 辅助 功能 来 
协调 应 用 程序 的 执行 ， 帮 助 管 理 者 监视 云 中 的 状态 ， 同 时 也 提供 现 有 云 技术 的 整合 。Aneka 
的 核心 优势 之 一 是 针对 不 同 编程 模型 (例如 任务 RE, MapReduce) 提供 了 可 扩展 应 用 编 
程 接口 (API)， 用 于 不 断 发 展 分 布 式 应 用 并 将 新 的 技术 整合 到 云 应 用 中 ， 同 时 Aneka 还 文 持 
不 同 的 云 部 署 方案 (公共 云 、 私 有 云 、 混 合 云 ， 如 图 5-1 所 示 )。 这 些 特性 使 Aneka 不 同 于 
laas 平台 上 的 管理 软件 ， 成 为 一 个 可 在 多 种 云 平台 上 进行 云 应 用 开发 、 部 署 和 管理 的 综合 
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多 基础 设施 
图 5-1 Aneka 功能 一 览 


本 章 对 Aneka 系统 框架 进行 了 描述 和 总 结 ， 介 绍 了 构成 Aneka 云 平 台 的 组 件 和 基本 服 
务 ， 同 时 讨论 了 一 些 具 有 普遍 性 的 云 应 用 部 署 场景 。 


5.1 框架 概述 


z Aneka 是 一 个 开发 云 应 用 的 软件 平台 ， 它 可 以 利用 分 布 式 系统 资源 在 一 个 独特 的 运行 
云 应 用 的 虚拟 域 一 Aneka 云 平台 中 对 其 进行 管理 。 根 据 第 1 章 所 提供 的 云 计算 参考 模型 ， 





ASŽ Aneka: 支 详 用 子 台 


Aneka 是 一 个 纯 平台 即 服务 的 云 计 算 解 决 方案 。Aneka 是 一 个 可 以 部 署 在 异 构 资源 平台 上 的 
云 中 间 件 产品 ， 例 如 局 域 网 中 的 计算 机 、 多 核 服 务 器 、 数 据 中 心 、 虚 拟 化 的 云 设 备 或 上 述 几 
种 的 混合 。Aneka 框架 不 仅 提供 了 管理 和 扩展 分 布 式 云 应 用 的 中 间 件 ， 同 时 也 提供 了 开发 分 
布 式 云 应 用 的 编程 接口 集合 。 

图 5-2 对 Aneka 框架 的 组 件 进 行 了 全 面 的 概括 性 展示 ， 系 统 的 核心 框架 提供 了 统一 的 接 
口 层 ， 使 Aneka 框架 可 以 部 署 在 不 同 的 平台 和 操作 系统 上 。 物 理 和 虚拟 的 资源 池 代 表 了 云 
中 有 限 的 资源 ， 这 些 资源 由 Aneka 容器 (一 种 轻 量 级 虚拟 化 技术 ) 管理 。Aneka 容器 安装 在 
每 个 节点 上 ， 构 成 了 云 中 间 件 的 基本 单元 。 一 系列 互联 的 容器 构成 了 Aneka 云 平台 : 一 个 向 
用 尸 和 开发 者 开放 服务 形式 的 统一 域 。 容 器 提供 了 三 种 不 同 特性 的 服务 形式 : 构造 服务 、 基 
础 服务 和 执行 服务 。 这 些 服务 分 别 负责 设备 管理 、 云 支撑 服务 、 云 应 用 管理 和 运行 。 这 些 服 
务 通 过 应 用 管理 和 开发 接口 层 提供 给 开发 者 和 管理 人 员 ， 包 括 云 应 用 开发 API 和 云 平台 控 
制 管理 工具 。 
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图 5-2 Aneka 框架 概述 
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Aneka 继承 了 面向 服务 架构 (SOA) 的 全 部 特性 ， 服 务 是 Aneka 云 平台 的 基本 组 件 。 服 
务 接口 建立 在 容 需 层 上 ， 框 架 中 平台 抽象 层 的 特性 对 于 用 户 、 开 发 者 和 管理 者 是 不 可 见 的 。 
Aneka 云 平台 同时 提供 了 扩展 和 重新 定义 服务 实现 的 服务 接口 ， 允 许多 种 新 服务 的 整合 以 及 
用 不 同 的 实现 兰 代 现 有 实现 。 该 框架 包括 基础 设施 、 节 点 管理 、 应 用 程序 执行 、 计 费 和 系统 
监控 等 基本 服务 ， 现 有 的 服务 可 以 进行 扩展 ， 同 时 新 的 功能 可 以 通过 动态 插入 容 莫 的 方式 深 
加 进 云 平台 。 容 需 虚 拟 化 技术 的 可 扩展 性 和 灵活 部 署 使 Aneka ZF A AEE AR FF FS [Al Ni 
用 的 编程 模型 和 执行 模型 。 这 里 的 编程 模型 是 指 一 个 抽象 集合 ， 程 序 员 可 以 用 它 来 表述 分 布 - 
式 应 用 。 编 程 模型 的 运行 支持 由 一 个 集合 构成 ， 该 集合 通过 执行 与 服务 相互 作用 来 推动 应 用 
的 执行 。 因 此 ， 一 个 新 模型 的 实现 需要 由 应 用 开发 人 员 和 服务 所 使 用 的 特定 编程 抽象 的 发 展 
来 为 其 提供 运行 支持 。 编 程 模型 只 是 云 应 用 管理 和 运行 的 一 个 方面 ，Aneka 云 平 台 还 提供 云 
应 用 的 弹性 资源 分 配 和 分 布 式 协作 服务 。 这 些 服务 包含 以 下 内 容 : 

o 弹性 和 可 扩展 性 。 通 过 动态 分 配 服 务 ，Aneka 支持 对 应 用 提供 资源 容量 的 增 减 . 

o 运行 管理 。 运 行 机 制 需 要 维护 基础 设施 的 可 用 性 以 支撑 应 用 运行 ，Aneka 平台 主要 由 
容 磊 技术 、 服 务 成 员 管 理 、 基 础 设施 监控 和 维护 、 程 序 概要 分 析 等 服务 接口 实现 运 
行 管理 。 
资源 管理 。 根 据 应 用 需求 和 用 户 定 制 ，Aneka 可 以 弹性 提供 设备 资源 。 为 了 提供 基于 
服务 质量 ( QoS) 的 运行 环境 ， 系 统 不 仅 允 许 动态 资源 备份 也 允许 为 某 些 应 用 保留 独 
Xo 
应 用 管理 。 应 用 管理 对 应 一 个 专属 的 服务 子 集 ， 子 集中 的 服务 包括 调度 、 执 行 、 监 
控 和 存储 管理 。 

用 户 管理 ,Aneka 是 一 个 多 租户 的 分 布 式 环境 ， 提 供 一 个 扩展 的 用 户 系 统 来 定义 用 户 、 
群 组 和 权限 许可 。 用 户 管理 下 的 服务 接口 构成 了 系统 的 安全 基础 机 制 ， 以 及 计算 管 
理 的 基础 服务 组 件 。 

QoS/SLA 管理 和 结算 。 云 环境 将 会 对 执行 的 应 用 进行 计量 和 资费 结算 。Aneka 提供 
一 系列 协同 服务 来 监控 每 个 应 用 的 资源 使 用 情况 并 向 用 户 提供 账单 。 

所 有 上 述 服务 由 软件 开发 工具 箱 (SDK) 和 管理 工具 箱 提供 的 应 用 程序 接口 (API) 实 
Bh. SDK 的 API 向 开发 者 提供 现 有 编程 模型 和 对 象 模型 来 创建 新 的 模型 。 管 理工 具 箱 集成 
了 运行 服务 接口 来 管理 基础 设施 、 用 户 和 应 用 。 管 理工 具 箱 对 云 平台 进行 整体 状态 描述 和 监 
控 ，SDK 则 更 多 地 提供 对 于 单个 应 用 执行 的 服务 接口 。 两 组 工具 箱 致力 于 为 核心 虚拟 化 容 
船 提供 交互 和 管理 的 易 用 接口 。 


5.2 Aneka 容器 结构 


Aneka Fir Aneka 云 平台 的 基础 组 件 ， 代 表 了 服务 及 应 用 的 运行 机 制 。 容 器 是 Aneka 
的 资源 部 署 的 基本 单位 ， 作 为 轻 量 级 的 软件 中 间 件 来 承载 服务 功能 ， 与 接 人 的 操作 系统 和 硬 
件 进行 交互 。 容 器 提供 了 一 个 轻 量 级 的 服务 部 署 环 境 ， 可 用 于 部 署 服务 和 一 些 基础 功能 ， 比 
如 和 云 中 其 他 节点 通信 的 信道 接口 。 云 平台 的 所 有 操作 都 由 容器 所 承载 的 服务 接口 提供 。 容 
佣 上 加 载 的 服务 可 以 分 为 三 个 基本 类 型 ; 

© 构造 服务 。 

o 基础 服务 。 

© 应 用 服务 。 
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上 述 服务 构成 的 服务 栈 位 于 平台 抽象 层 (PAL) 之 上 ,提供 了 对 潜在 操作 系统 和 硬件 的 
接口 ， 从 容 右 的 角度 提供 了 软 人 硬件 资源 。 持 久 性 和 安全 性 横 跨 了 所 有 服务 栈 的 内 容 ， 提 供 了 
一 个 安全 可 菲 的 框架 结构 。 下 面 章 市 将 具体 讨论 这 些 服务 层次 的 细节 。 


5.2.1 Aneka 平台 基础 : 平台 抽象 层 


系统 的 核心 架构 基于 NET HR, (E Aneka 能 够 在 不 同 平台 和 操作 系统 上 迁移 。 任 
何 满足 ECMA-334[5$2] Al ECMA-335(53] 规范 的 平台 环境 均 可 在 Aneka 容器 上 加 载 和 
运行 。 

ECMA -334 标准 引入 了 通用 语言 基础 设施 ( CLI)， 定 义 了 一 个 通用 代码 运行 环境 ，CLI 不 
会 向 运行 在 其 框架 上 的 应 用 程序 提供 任何 接口 来 访问 硬件 或 收集 宿主 操作 系统 的 运行 信息 ”。 
此 外 ,不同 的 操作 系统 有 不 同 的 文件 系统 结构 和 存储 方式 。 平 台 抽 象 层 (PAL) 可 以 屏蔽 这 
种 异 构 性 ， 向 容器 提供 统一 接口 来 访问 硬件 和 操作 系统 信息 ， 因 此 Aneka 容器 可 以 在 任何 
PAL 所 支持 的 平台 上 运行 。 

PAL 负责 检测 宿主 环境 的 兼容 性 并 实现 与 宿主 环境 的 交互 ， 从 而 支持 上 层 容 顺 的 运行 。 
PAL 具有 如 下 特征 : 

e 提供 统一 且 与 平台 无 关 的 执行 接口 来 访问 宿主 平台 。 

e 对 宿主 平台 的 扩展 和 附加 属性 提供 统一 访问 途径 。 

o 提供 统一 且 与 平台 无 关 的 途径 来 访问 远 端 节点 。 

e 提供 统一 且 与 平台 无 关 的 管理 接口 。 

PAL 是 Aneka 中 一 个 小 的 接口 层 构 成 的 检测 引擎 ， 启 动 后 会 自动 对 容器 进行 配置 。PAL 
实现 了 有 具体 硬件 资源 的 接 人 和 对 不 同 操作 系统 (Windows, Linux 和 Mac OS X) 的 抽象 层 
构建 。 

PAL 向 上 层 提 供 的 信息 包括 : 

e 内 核 数 量 、 频 率 和 CPU 用 途 。 

e 内 存 的 大 小 和 使 用 情况 。 

e 全 局 层面 的 硬盘 可 用 空间 。 

e 网 络 地 址 和 节点 上 的 设备 。 

此 外 ， 通 过 查询 硬件 属性 可 以 获得 附加 硬件 配置 信息 。PAL 提供 定制 实现 的 方法 ， 通 过 
使 用 表述 平台 信息 的 命名 - 值 来 提取 附加 信息 。 例 如 ， 属 性 可 以 包含 CPU 的 型 号 和 系列 信 
息 ， 以 及 容器 所 在 的 进程 信息 。 

5.2.2 ”构造 服务 

构造 服务 定义 了 Aneka 容器 最 底层 的 软件 栈 。 构 造 服务 提供 了 资源 分 配子 系统 和 设备 
监控 系统 的 接口 。 资 源 提供 服务 负责 利用 虚拟 化 技术 按 需求 动态 分 配 节点 。 监 控 服务 可 以 对 
硬件 信息 进行 分 析 ， 同 时 ， 作 为 一 个 基础 监控 设施 ， 安 装 在 容器 中 的 任何 应 用 都 可 以 使 用 这 
一 服务 。 


1. 概要 分 析 和 监控 
概要 分 析 和 监控 服务 主要 由 心跳 、 监 控 和 报告 服务 构成 。 心 跳 服务 从 PAL 收集 信息 ， 


监控 和 报告 服务 对 云 中 任意 服务 行为 实行 一 般 性 监控 。 


© NET 虚拟 机 CLR 是 CLI 的 一 种 实现 。 一 一 译 者 注 
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心跳 服务 周期 性 地 从 节点 收集 动态 运行 信息 并 将 这 些 信息 发 布 给 云 中 的 成 员 服 务 。 这 些 
信息 由 云 的 索引 节点 收集 ， 为 资源 预 留 和 调度 服务 提供 必要 依据 ， 实 现 异 构 基 础 设备 的 优化 
应 用 。 如 前 文 所 述 ， 除 了 收集 内 存 、 硬 盘 剩 余 信 息 、CPU 和 操作 系统 等 基础 信息 以 外 , 一 
些 附加 信息 〈 例 如 系统 中 安装 的 软件 ) 也 可 以 加 入 到 动态 报 文 信息 中 。 更 确切 地 说 ， 任 意 以 
文本 描述 的 属性 信息 都 可 以 在 报 文中 传递 。 一 个 名 为 node resolver 的 服务 组 件 负 责 收 集 上 述 
运行 信息 并 传递 给 心跳 服务 。Aneka 为 该 服务 组 件 提供 了 多 种 方法 以 满足 不 同 异 构 环 境 下 的 
实现 。PAL 使 用 不 同 接口 来 对 接 不 同 操 作 系 统 ， 部 署 在 不 同 节点 上 的 Aneka 组 件 可 以 屏蔽 操 
作 系 统 的 异 构 性 ， 以 获取 类 型 一 致 的 信息 。 例 如 ， 在 物理 机 和 aas 服务 商 (EC2 、GoGrid ) 
提供 的 虚拟 机 上 获取 公共 IP 的 机 制 是 不 同 的 。Aneka 在 虚拟 容器 部 署 中 为 每 个 节点 配置 一 
个 resolver 服务 组 件 ， 以 保证 系统 其 他 组 件 工作 的 透明 性 。 

系统 集成 的 监控 和 概要 分 析 服 务 通过 一 个 通用 监控 平台 实现 ， 该 平台 允许 任何 用 户 服务 
报告 其 行为 。 该 平台 由 报告 和 监控 服务 接口 构成 ， 报 告 服务 负责 监控 数据 的 存储 并 将 监控 数 
据 提供 给 其 他 服务 接口 或 者 分 析 应 用 。 每 个 节点 上 会 实例 化 一 个 监控 服务 作为 报告 服务 的 网 
关 ， 向 报告 服务 传送 采集 节点 上 的 监控 数据 。 任 何 想 要 提供 监控 信息 的 服务 可 以 借助 本 地 的 
监控 服务 接口 而 不 必 了 解 整个 基础 设施 的 细节 。 目 前 已 经 有 以 下 集成 服务 通过 这 种 途径 来 提 
供 相 关 信 息 : 

e 成 员 目 录 记 录 节 点 运行 信息 。 

o 执行 服务 在 任务 执行 过 程 中 选取 时 段 进 行 监控 。 

© 调度 服务 记录 任务 的 状态 信息 。 

© 存储 服务 监控 和 提供 数据 迁移 中 的 信息 ， 例 如 上 传 和 下 载 次 数 、 文 件 名 和 大 小 。 

© 资源 分 配 服务 记录 虚拟 节点 的 分 配 和 生命 周期 信息 。 

上 述 信息 可 以 存储 在 一 个 关系 型 数据 库 管理 系统 (RDBMS) 或 展 平 文件 9? 中， 以 便 应 用 
进行 深入 分 析 。 例 如 ， 管 理 控制 台 提 供 了 管理 层面 的 数据 监控 信息 。 

2. 资源 管理 

资源 管理 是 Aneka 云 平台 的 另 一 项 基本 特征 ， 它 需要 完成 以 下 几 个 任务 : 资源 组 成 、 资 
源 预 留 和 资源 分 配 。Aneka 提供 了 一 系列 服务 接口 负责 资源 管理 ， 包 括 索 引 服务 ( 即 成 员 目 
录 )、 预 留 服务 和 资源 分 配 服务 。 

成 员 目 录 是 Aneka 资源 管理 的 基本 组 件 ， 它 记录 了 所 有 节点 (无论 连接 与 否 ) 的 基本 信 
息 。 成 员 目 录 构 成 了 目录 服务 的 一 个 基础 服务 ， 允 许 通 过 节点 名 等 属性 字段 来 搜索 服务 。 当 
容 需 局 动 时 ， 每 个 容器 实例 都 会 将 自身 信息 发 布 到 成 员 目 录 并 在 生命 周期 内 不 断 更 新 。 服 务 
和 外 部 应 用 可 以 查询 成 员 目录 以 发 现 可 用 容器 并 与 其 进行 交互 。 为 了 加 速 查询 ， 成 员 目 录 设 
计 成 一 个 分 布 式 数 据 库 : 查询 先 在 本 地 记录 的 缓存 中 进行 ， 如 果 没 有 结果 再 向 主 索引 节点 查 
询 ， 主 索引 节点 包含 全 局 的 成 员 目 录 。 成 员 目 录 同 时 保存 每 个 节点 的 动态 信息 ， 这 些 信 息 被 
发 送 到 本 地 监控 服务 实例 中 并 被 长 期 保存 。 

资源 的 索引 和 划分 是 资源 管理 的 基本 功能 ， 这 些 功 能 是 在 基础 索引 服务 的 接口 上 实现 
的 。 容 器 实例 的 部 署 和 配置 在 设备 管理 层 实现 ， 并 不 属于 构造 服务 。 

动态 资源 分 配 允 许 将 从 laas 服务 商 处 租用 的 虚拟 资源 整合 到 Aneka 云 平 台中 并 进行 管 
理 ， 该 服务 改变 了 Aneka 云 平台 中 的 拓扑 结构 ， 人 允许 其 根据 不 同 需求 (例如 处 理 节点 故障 、 
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保证 应 用 的 服务 质量 、 维 持 云 的 稳定 性 能 或 恒定 吞吐 量 ) 来 进行 扩展 部 署 。Aneka 定义 了 一 
个 非常 灵活 的 框架 来 实现 资源 分 配 ， 其 中 资源 动态 申请 的 触发 机 制 、 添 加 容器 数量 的 选择 以 
及 添加 容 上 需 后 的 新 运行 策略 都 是 可 以 修改 的 。Aneka 集成 的 资源 分 配 平台 主要 集中 在 资源 分 
配 服 务 ， 该 服务 提供 了 分 配 虚拟 容器 实例 资源 的 所 有 操作 。 资 源 分 配 服务 的 实现 是 基于 资源 
池 的 巡 计 理念 ， 资源 池 提 供 了 一 个 通用 抽象 接口 来 实现 与 具体 laas 服务 商 资 源 的 交互 ， 使 
所 有 服务 商 的 资源 池 可 以 被 统一 管理 。 资 源 池 并 不 一 定 要 映射 到 aas 服务 商 ， 也 可 以 将 由 
Xen Hypervisor 管理 的 私有 云 或 者 只 是 偶尔 使 用 的 物理 机 资源 作为 动态 资源 。 系 统 基于 开放 
协议 ， 人 允许 使 用 元 数据 来 描述 资源 池 和 定制 资源 分 配 请 求 。 该 平台 简化 了 附加 特征 的 实现 ， 
以 及 对 能 够 被 集成 到 现 有 系统 的 不 同 实现 方法 的 支持 。 

宽 源 分 配 功能 是 为 了 支持 面向 Qos 服务 需求 的 应 用 执行 。 因 此 ， 资 源 分 配 服务 多 数 是 
从 预 留 服 务 和 调度 服务 发 送 的 请 求 。 此 外 ， 外 部 应 用 可 以 直接 利用 Aneka 的 资源 分 配 功能 ， 
动态 检索 客户 端 ， 并 与 相关 基础 设施 进行 交互 。 这 使 得 资源 分 配 功能 不 仅 可 被 Aneka 使 用 ， 
也 可 以 被 虚拟 机 管理 事 使 用 。 


5.2.3 ”基础 服务 


HERS Æ Aneka 云 平 台 的 基础 服务 ， 定 义 了 系统 管理 平台 的 基础 功能 。 基 础 服务 主 
要 用 于 对 构建 在 基础 设施 上 的 分 布 式 系统 进行 逻辑 管理 ， 并 为 分 布 式 应 用 的 执行 提供 支持 。 
所 有 支持 的 编程 模型 都 可 以 集成 进 服务 接口 ， 同 时 利用 这 些 服务 接口 提供 高 级 且 全 面 的 应 用 
管理 。 这 些 服 务 包 括 : 

e 应 用 的 存储 管理 。 

e 资源 的 定价 、 支 付 和 结算 。 

e 资源 预 留 。 

基础 服务 提供 统一 途径 来 管理 分 布 式 应 用 ， 使 开发 者 只 需 关心 编程 模型 的 逻辑 差异 。 结 
全 构造 服务 和 基础 服务 构成 了 Aneka 中 间 件 的 核心 。 这 些 服务 接口 主要 由 执行 服务 和 管理 
平台 所 使 用 。 外 部 应 用 也 可 使 用 这 些 开 放 接 口 来 提供 高 级 应 用 管理 。 

1. 存储 管理 

数据 管理 是 分 布 式 系统 和 云 环 境 中 的 重要 方面 。 应 用 对 数据 的 操作 多 数 以 文件 存储 和 移 
动 的 形式 进行 。 因 此 ， 任 何 支 持 分 布 式 应 用 的 平台 应 该 提供 数据 / 文件 迁移 管理 和 持久 化 存 
储 的 服务 。Aneka 提供 了 两 组 存储 管理 的 服务 模式 : 集中 式 文件 存储 ， 主 要 适用 于 计算 密集 
型 应 用 ; 分 布 式 文件 系统 ， 适 合 于 数据 密集 型 应 用 。 两 种 应 用 的 需求 截然 不 同 。 计 算 密 集 型 
服务 主要 是 需要 高 性 能 处 理 器 ， 对 存储 没有 太 高 要 求 ， 在 许多 实用 案例 中 仅 需 要 存储 小 型 文 
件 ， 文 件 在 节点 间 的 迁移 也 十 分 方便 。 在 这 种 情况 下 ， 设 置 一 个 中 心 存 储 节点 或 者 存储 节 
点 集群 是 较为 合适 的 解决 方案 。 相 反 ， 数 据 密 集 型 应 用 的 特点 是 处 理 大 型 数据 文件 (GB 或 
TB)， 任 务 对 处 理 能 力 的 需求 并 不 构成 性 能 瓶颈 。 在 这 种 情景 下 ， 利 用 分 布 式 系统 来 管理 所 
有 云 节点 的 存储 空间 是 一 个 更 好 且 更 具 可 扩展 性 的 解决 方案 。 

集中 式 存储 通过 Aneka 的 存储 管理 服务 接口 来 实现 ， 该 服务 构成 了 Aneka 的 数据 分 级 
服务 。 存 储 服务 向 分 布 式 应 用 提供 了 基本 的 文件 传输 功能 以 及 面向 终端 用 户 或 其 他 系统 组 件 
的 抽象 协议 接口 ， 接口 可 由 安装 到 云 中 的 服务 实例 动态 配置 (工厂 模式 )。 目 前 默认 的 协议 


配置 是 FTP。 
为 了 支持 不 同 的 协议 ， 系 统 引信 文件 通道 的 概念 并 定义 了 两 个 组 件 : 文件 通道 控制 郑 和 


704 常 二 部 分 “ 云 应 用 编程 与 4neka $2 


文件 通道 句柄 。 文 件 通 道 控 制 器 构成 了 通道 的 服务 组 件 ， 包 含 文件 存储 和 访问 权限 。 文 件 
通道 句柄 代表 了 顾客 组 件 ， 用 户 应 用 和 系统 其 他 组 件 可 以 调用 句柄 实现 上 传 、 下 载 和 浏览 文 
件 。 存 储 服 务 利 用 工厂 模式 下 的 文件 通道 首先 创建 管理 存储 的 服务 组 件 ， 然 后 按 需求 创建 用 
户 组 件 。 需 要 文件 传输 支持 的 用 户 应 用 会 自动 分 配 文件 通道 句柄 ， 实 现 输入 文件 的 上 传 和 外 
部 文件 的 下 载 。 同 时 ， 管 理 平 台 将 会 对 工作 节点 进行 配置 ， 使 节点 能 够 完成 执行 文件 的 取 回 
和 结果 上 传 。 

文件 通道 抽象 的 一 个 令 人 感 兴趣 的 特征 是 ， 链 接 两 个 文件 通道 以 实现 通过 两 种 不 同 的 文 
件 协 议 来 传输 文件 。Aneka 的 每 个 文件 中 都 包含 元 数据 ， 可 帮助 管理 平台 选择 合适 的 通道 来 
移动 文件 。 例 如 ， 一 个 输出 文件 可 以 利用 内 部 FTP 协议 从 工作 节点 传递 给 服务 实例 ， 再 通 
过 服务 实例 管理 的 FTP 通道 控制 器 输出 到 AWS S3 服务 的 桶 下 。 存 储 服 务 接口 支持 基于 任 
务 划 分 和 线程 模型 的 编程 以 及 基于 参数 化 的 应 用 。 

数据 密集 型 的 应 用 采用 分 布 式 文件 系统 进行 存储 ， 其 参考 模型 是 谷歌 文件 系统 (GFS)1[54]， 
具有 基于 商用 人 硬件 的 高 度 可 扩展 的 基础 设施 。 文 件 系 统 架 构 基 于 主 节 点 ， 主 节点 中 包含 用 于 
跟踪 所 有 存储 节点 状态 的 文件 系统 全 局 映射 ， 以 及 用 于 提供 分 布 式 存储 空间 的 数据 块 服务 器 
资源 池 。 文 件 逻 辑 上 存放 在 一 个 目录 结构 中 ,但 同时 通过 一 个 唯一 的 ID 产生 分 结构 化 域名 ， 
并 以 此 作为 索引 存放 在 文件 系统 中 。 每 个 文件 由 一 系列 相同 大 小 的 块 构成 ， 每 个 文件 块 分 配 
唯一 的 ID 且 存 放 在 不 同 的 服务 器 上 ， 并 进行 副本 存储 来 提供 高 可 用 性 和 容错 性 。 该 模型 由 
GFS 提出 并 能 够 对 具有 以 下 特征 的 应 用 提供 优化 支持 : 

© GB 级 别 以 上 的 文件 。 

e 修改 文件 时 只 需要 增加 文件 内 容 而 不 需要 对 原 有 文件 内 容 进 行 修改 。 

e 以 大 量 读 取 访问 和 少量 随机 访问 为 主 的 负载 类 型 。 

o 持续 稳定 的 带宽 比 低 响应 延迟 更 为 重要 。 

此 外 ， 考 虑 到 文件 系统 中 有 大 量 的 商用 机 器 共同 工作 ， 因 此 进程 故障 和 硬件 故障 是 一 种 
常态 化 现象 。 这 些 现象 影响 了 存储 机 制 的 设计 ， 使 系统 能 够 为 应 用 的 数据 操作 提供 更 好 的 性 
能 。 目 前 ， 只 有 MapReduce[55] 能 够 使 用 分 布 式 文件 操作 系统 ，MapReduce 也 是 GFS 的 主 
要 应 用 。Aneka 在 Windows 文件 系统 基础 上 提供 了 一 个 简单 的 分 布 式 文件 系统 。 

2. 记 账 、 结 算 和 资源 定价 

记 账 服务 记录 了 云 中 应 用 的 状态 ， 收 集 的 信息 对 分 布 式 节点 的 使 用 情况 做 出 了 细致 划 
分 ， 对 资源 管理 的 优化 至 关 重 要 。 

记 账 服务 所 收集 的 信息 主要 与 设备 使 用 和 应 用 执行 有 关 。 应 用 执行 过 程 中 的 完整 历史 信 
县 以 及 存储 等 资源 的 使 用 参数 将 会 被 记录 服务 抓 取 和 分 析 。 这 些 信 息 构 成 了 用 户 计 费 的 基础 
信息 。 

结算 是 记 账 服务 的 另 一 个 重要 功能 。Aneka 是 一 个 多 用 户 云 编 程 平 台 ， 云 中 应 用 的 执行 
可 能 直接 涉及 从 Iaag 服务 商 处 调度 更 多 资源 ， 并 产生 协作 成 本 。Aneka 结算 服务 为 每 个 用 
户 提供 资源 使 用 及 其 相关 费用 的 详细 信息 。 每 项 资源 可 以 根据 服务 接口 的 类 型 或 者 节点 上 安 
装 的 软件 来 定价 。 结 算 模型 提供 了 对 各 项 应 用 的 综合 结算 ， 对 于 具体 用 户 提供 每 项 任务 的 结 
算 信息 。 

记 账 和 结算 功能 由 记 账 服务 和 报告 服务 提供 。 前 者 记录 了 应 用 的 执行 信息 ， 例 如 任务 在 
可 用 资源 上 的 分 配 ， 各 项 任务 时 序 及 协作 成 本 。 后 者 提供 了 从 监控 服务 接口 获取 的 用 于 结算 
的 信息 ， 如 存储 使 用 情况 和 CPU 性 能 。 这 些 信息 主要 由 管理 控制 台 提取 。 
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3. 资源 预 留 

资源 预 留 支 持 分 布 式 应 用 的 执行 ， 使 某 些 应 用 可 以 独占 预 留 资源 。 资 源 预 留 由 两 种 服务 
接口 实现 : 资源 预 留 服 务 和 部 署 服务 。 资 源 预 留 服务 记录 了 所 有 的 预 留 时 隙 并 提供 系统 的 全 
局 视角 。 部 署 服务 安装 在 每 个 执行 服务 的 节点 上 ， 管 理 本 地 节点 的 时 隙 分 配 。 有 截止 时 间 的 
应 用 可 以 在 一 个 时 间 段 内 通过 资源 预 留 申请 一 系列 节点 资源 。 如 果 预 留 请 求 可 以 满足 ， 预 留 
服务 实例 将 会 返回 一 个 标识 符 作为 资源 预定 凭据 。 应 用 执行 期 间 ， 该 标示 符 将 会 被 用 来 选择 
执行 应 用 的 预 留 节 上 点。 在 每 个 预 留 节点 上 ， 执 行 服务 使 用 分 配 服务 接口 通过 检验 分 配 标示 符 
来 判断 每 项 任务 在 执行 时 隙 内 是 否 具 有 占用 许可 权 。 尽 管 这 是 一 个 资源 预 留 框架 下 的 通用 参 
考 模型 ， 但 Aneka 允许 不 同 的 服务 实现 方式 ， 包 括 利用 多 种 资源 预 留 协议 ， 以 及 在 预 留 请 
求 中 配置 相关 参数 。 不 同 的 协议 和 策略 可 以 透明 化 地 进行 集成 ，Aneka 提供 扩展 API 来 支持 
高 级 服务 。 目 前 ， 系 统 框架 支持 三 种 不 同 的 实现 : 

e 基本 预 留 。 代 表 节 点 时 际 预 留 的 基本 方法 ， 执 行 双 备 份 协议 ， 提 供 预 留 资源 的 备份 
选项 以 避免 初始 的 预 留 请 求 不 能 被 满足 。 
ARS (计价 ) 预 留 。 根 据 节 点 的 硬件 资源 进行 节点 定价 并 提供 预 留 。 

o 中 继 预 贸 。 实 现 简 单 ， 可 以 使 资源 代理 商 在 Aneka 中 预 留 节点 并 控制 节点 资源 ， 该 

接口 在 互联 云 环境 下 的 集成 交互 中 比较 有 用 。 

资源 预 留 是 保证 应 用 服务 质量 (预先 经 过 协商 ) 的 基本 功能 ， 它 可 以 保证 云 平台 提供 一 
个 可 预见 的 环境 来 控制 应 用 的 执行 。 预 留 请 求 允许 与 否 的 判断 机 制 是 基于 请 求 时 刻 的 可 用 资 
源 静 态 分 布 ， 还 要 考虑 目前 和 未 来 的 工作 负载 。 该 方案 对 节点 故障 十 分 敏感 ， 可 能 会 使 云 平 
台 无 法 满足 服务 等 级 协议 SLA。 实 际 的 服务 应 用 机 制 倾向 于 尽 可 能 推迟 为 预 留 请 求 分 配 市 
点 ， 以 应 对 临时 故障 和 局 部 断 电 。 但 是 对 于 大 范围 断 电 导致 剩余 节点 不 足以 负载 需求 的 情 
况 ， 该 策略 将 无 法 应 对 。 为 了 应 对 这 种 情况 ， 资 源 调度 服务 提供 了 一 种 更 有 效 的 解决 途径 : 
可 以 由 外 部 资源 服务 商 提 供 调 度 节点 来 应 对 断 电 和 满足 应 用 的 SLA 需求 。 当 系统 中 的 现 有 
资源 不 足以 满足 预 留 请 求 时 ， 现 有 的 资源 预 留 机 制 会 使 用 构造 层 的 调度 方法 来 满足 预 留 需 
求 ， 解 决 资源 不 足 和 临时 故障 的 问题 。 


5.2.4 应 用 服务 


应 用 服务 对 应 用 的 执行 进行 管理 ， 并 针对 不 同 的 分 布 式 负载 应 用 对 应 的 编程 模型 提供 相 
应 接口 。 由 于 每 个 编程 模型 的 需求 和 特征 不 同 ， 所 以 提供 的 服务 接口 的 种 类 和 数量 也 不 同 。 
在 所 有 的 支持 模型 中 ， 可 以 划分 出 两 类 共性 的 类 型 : 调度 服务 和 执行 服务 。Aneka 定义 了 一 
个 支持 编程 模型 运行 的 参考 模型 ， 并 抽象 出 调度 和 执行 两 个 服务 接口 集合 。 此 外 ，Aneka 还 
定义 了 基础 接口 来 实现 对 新 的 编程 模型 的 扩展 支持 。 

1. 调度 

调度 服务 负责 规划 分 布 式 应 用 的 执行 并 将 应 用 所 包含 的 任务 分 配给 节点 。 调 度 服务 同时 
构成 了 几 个 其 他 基础 服务 和 构造 服务 子 集 的 调用 结合 点 ， 例 如 资源 分 配 、 预 留 、 记 录 、 汇 
报 。 调 度 服务 组 件 的 共同 任务 如 下 ; 

e 节点 映射 任务 。 

© 失败 任务 的 重新 调度 。 

© 任务 状态 监控 。 

。 应 用 状态 监控 。 


106 常 二 部 分 “ 云 应 有 编程 与 Aneka F6 


Aneka 并 不 提供 集中 式 的 调度 引擎 ， 每 个 编程 模型 拥有 自己 的 调度 服务 接口 ， 以 便 和 中 
间 件 中 的 其 他 服务 进行 协作 。 如 上 文 所 述 ， 协 作 服务 主要 属于 图 5-2 所 示 框 架 中 构造 和 集成 
服务 接口 层 。 为 不 同 的 编程 模型 设计 不 同 的 调度 引擎 给 调度 和 资源 分 配 机 制 的 设计 市 来 了 很 
大 的 灵活 性 ， 但 同时 也 需要 对 共享 资源 的 使 用 进行 精确 设计 。 在 调度 过 程 中 ， 对 以 下 情况 需 
要 进行 适当 管理 : 多 任务 同时 发 送 给 同一 节点 ， 没 有 预 留 申 请 的 任务 发 送 给 预 留 节 点 ， 接 受 
任务 的 节点 没有 安装 预先 所 需 的 服务 内 容 。Aneka 基础 服务 提供 了 有 效 的 信息 收集 接口 来 避 
免 上 述 情况 ， 但 是 应 用 运行 平台 并 不 具有 检测 和 纠正 上 述 情 况 的 能 力 。Aneka 目前 的 设计 机 
制 是 使 每 个 调度 引擎 完全 相互 隔离 ， 旨 在 需要 时 可 以 使 用 其 他 服务 接口 ， 以 此 来 保证 任意 时 
刻 在 每 个 节点 上 对 每 个 编程 模型 只 有 一 个 任务 在 执行 ， 但 应 用 的 运行 并 不 是 互 斥 的 ， 除 非 使 
用 资源 预 留 机 制 。 
2. 执行 
执行 服务 控制 应 用 中 单个 任务 的 执行 ， 负 责 设 定 执行 任务 的 运行 环境 。 调 度 服 务实 例 运 
行 时 ， 每 个 编程 模型 都 有 自身 需求 ， 但 在 所 有 的 编程 模型 中 可 以 提取 出 一 些 共性 操作 : 
© 从 调度 器 获取 任务 后 的 分 发 。 
o 取 回 所 需 的 输入 文件 。 
e 任务 的 沙 盒 运 行 。 
© 任务 执行 完毕 后 输出 文件 的 提交 。 
o 执行 故障 管理 (例如 抓 取 有 效 的 上 下 文 信息 进行 故障 鉴别 )。 
e 性 能 监控 。 
e 任务 打包 并 回 传 给 调度 器 。 
相对 于 调度 服务 ， 执 行 服务 构成 了 一 个 自 成 体系 的 单元 。 执 行 服务 需要 处 理 的 信息 较 少 
并 且 只 需要 和 存储 服务 、 本 地 部 署 和 监控 服务 接口 交互 。Aneka 为 执行 服务 提供 了 集成 上 述 
所 有 服务 的 关联 接口 集合 ， 目 前 已 有 两 个 编程 模型 实现 了 专门 的 关联 接口 集合 . 
应 用 服务 构成 了 对 云 中 编程 模型 的 运行 支持 ， 目 前 所 支持 的 编程 模型 如 下 : 
e 任务 模型 。 包 含 很 多 任务 划分 应 用 和 计算 应 用 。 应 用 被 划分 为 相互 独立 的 任务 的 集 
合 ， 任 务 的 执行 可 以 按 任意 排序 进行 。 
© 线程 模型 。 对 分 布 式 框架 下 的 经 典 多 线程 编程 模型 进行 扩展 支持 ， 使 用 线程 抽象 模 
型 来 装载 远 端 执行 的 程序 模块 。 
© MapReduce 模型 。MapReduce 在 Aneka 上 的 实现 。 
o 参数 化 模型 。 任 务 模 型 应 用 的 一 类 实例 ， 将 多 组 参数 集合 输入 任务 实例 ， 每 组 参数 
代表 了 选 定 域 中 一 个 具体 的 点 。 
其 他 编程 模型 正 处 于 开发 和 测试 阶段 ， 其 中 包括 数据 流 模型 [56] ， 信 息 传递 接口 和 
Actor 模型 。 


5.3 构建 Aneka 云 平台 


Aneka 是 一 个 开发 分 布 式 云 应 用 的 平台 。 作 为 一 个 软件 平台 ， 它 需要 部 署 在 相应 的 硬 
件 设施 上 ， 同 时 硬件 设施 需要 相应 的 管理 组 件 。 构 建 云 平台 是 云 管理 者 的 主要 任务 之 一 ， 
Aneka 支持 公共 云 、 私 有 云 和 混合 云 的 多 种 部 署 方式 。 
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5.3.1 基础 设施 组 织 


图 5-3 从 基础 设施 的 角度 描述 了 Aneka 云 平 台 ， 为 不 同 的 部 署 模式 提供 了 一 个 参考 模 
型 。 管 理 控 制 台 作为 核心 角色 执行 所 有 需要 的 管理 操作 。 云 部 署 的 一 个 基本 元 件 是 仓库 集 
合 ， 仓 库存 储 了 安装 和 部 署 云 平台 基本 服务 所 需 的 所 有 库 ， 这 些 库 构 成 了 用 于 节点 管理 和 容 
癸 程 序 的 软件 镜像 。 仓 库 可 以 通过 传输 协议 通道 (HTTP、FTP、 通 用 文件 共享 等 ) 来 共享 库 。 
管理 平 合 可 以 管理 多 个 仓库 并 为 具体 的 部 署 选 择 一 个 合适 的 仓库 。 设 备 部 署 的 过 程 是 为 一 系 
列 节点 安装 节点 管理 器 ， 也 称 为 守护 进程 。 守 护 进 程 是 远程 管理 服务 实例 的 一 部 分 ， 以 实现 
容 吉 实 例 的 部 署 和 管理 。 容 器 的 集合 构成 了 Aneka 云 系 统 。 
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图 $S-3 Aneka 云 平 台 基 础 设施 概览 


从 基础 设施 的 角度 而 言 ， 只 要 可 以 通过 网 络 连接 和 远程 管理 接 人 节点 ， 那 么 对 物理 节 
点 和 虚拟 节点 的 管理 就 是 一 致 的 。 而 在 虚拟 化 实例 的 动态 分 配 过 程 中 ， 容 器 由 包含 Aneka 
服务 组 件 的 打包 资源 镜像 所 创建 ， 动 态 分 配 只 需要 将 资源 镜像 配置 给 实例 ， 以 将 实例 加 入 
到 云 环境 中 。 容 器 和 守护 进程 的 安装 也 可 以 采取 简化 模式 ， 这 主要 取决 于 虚拟 资源 的 生命 


周期 。 


5.3.2 BRAR 
云 的 逻辑 组 织 非 常 多 样 化 ， 主 要 取决 于 容器 实例 上 的 配置 选择 。 常见 的 模式 是 采用 主 从 055) 
配置 ， 并 另外 划分 存储 节点 ， 如 图 5-4 所 示 。 
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存储 节点 


TETA 





图 5-4 Aneka 云 逻 辑 组 织 


主 节点 的 服务 通常 具有 一 份 拷贝 ， 并 提供 对 云 内 的 智能 管理 。 将 一 个 节点 设置 为 主 节点 
需要 在 索引 服务 (MAAR) 中 将 该 节点 配置 为 主 节点 模式 。 多 拷贝 的 服务 除了 需要 强制 部 
闭 的 以 外 ， 一 般 应 配置 到 从 节点 。 主 节点 的 常规 服务 配置 如 下 : 

e 索引 服务 (EHN). 

e 心跳 服务 。 

e 日 志 服 务 。 

e 预 留 服务 。 

e 资源 配置 服务 。 

e 记录 服务 。 

e 报告 和 监控 服务 。 

e 编程 模型 对 应 的 调度 服务 。 

主 节 点 通过 一 个 关系 型 数据 库 (RDBMS) 访问 设备 的 运行 状态 数据 。 实 际 上 ， 所 有 的 
调度 服务 都 在 主 节 点 内 完成 。 调 度 服务 接口 共享 关系 型 数据 库 中 的 应 用 模块 ， 以 提供 一 种 
容错 机 制 。 主 节点 的 配置 可 以 被 保存 在 几 个 其 他 节点 上 ， 通过 故障 转移 机 制 提高 系统 的 可 
靠 性 。 

工作 节点 构成 了 Aneka 云 的 处 理 单元 ， 主 要 是 为 支持 应 用 执行 而 配置 相关 服务 ， 包 括 
强制 部 署 服务 和 具体 编程 模型 的 执行 服务 。 常 规 配 置 如 下 : 

© 索引 服务 。 

© 心跳 服务 。 

e 日 志 服 务 。 
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e 部 署 服务 。 

e 监控 服务 。 

e 编程 模型 对 应 的 执行 服务 。 

通过 选择 不 同 的 执行 服务 来 使 用 不 同 的 工作 节点 ， 可 以 实现 负载 均衡 以 及 为 一 些 具体 应 
用 保留 相关 节点 。 

仓储 节点 为 应 用 提供 了 优化 存储 支持 ， 在 强制 服务 和 常规 服务 以 外 提供 了 存储 服务 接 
O. 存储 节点 的 数量 取决 于 对 工作 负载 的 预测 和 应 用 对 存储 资源 的 消耗 。 存 储 节 点 主要 配置 
在 有 足够 便 盘 空间 可 以 容纳 大 量 文件 的 设备 上 。 存 储 节点 的 常规 配置 如 下 : 

e AGM. 

e 心跳 服务 。 

e 日 志 服 务 。 

e 监控 服务 。 

e 存储 服务 。 

实际 使 用 中 ， 如 果 没 有 数据 传输 需求 ， 存 储 节 点 可 能 只 有 一 个 。 在 小 型 部 署 案 例 中 ， 没 
有 必要 设置 一 个 独立 的 存储 节点 ， 因 此 存储 服务 可 能 被 安装 和 运行 在 主 节 点 上 。 

所 有 节点 都 在 主 节点 中 进行 注册 ,并且 可 以 透明 地 关联 到 所 有 故障 转移 备用 设备 上 ， 以 
保证 设备 的 高 可 徘 性 。 


53.3 ”私有 云 部 署 模式 


私有 云 部 署 模式 主要 由 本 地 物理 机 资源 和 提供 资源 池 节 点 (多 数 情 况 下 经 过 了 虚拟 化 ) 
访问 的 设备 管理 软件 构成 。 这 种 情况 下 ，Aneka 云 需要 在 异 构 设备 (例如 桌面 设备 、 集 群 和 
工作 站 ) 的 资源 地 上 构建 。 这 些 异 构 设 备 可 以 被 划分 为 不 同 的 组 ， 云 平台 可 以 根据 应 用 的 需 
求 来 使 用 这 些 资源 。 此 外 ， 通 过 使 用 资源 配置 接口 ， 可 以 从 一 些 开源 分 布 式 虚拟 化 系统 (如 
XenServer, Eucalyptus 和 OpenStack) 中 获取 虚拟 节点 资源 。 

图 5-5 显示 了 私有 Aneka 云 的 常规 部 署 。 在 系统 负载 可 以 预测 且 本 地 虚拟 机 管理 需 可 以 
处 理 超出 预测 负载 的 资源 请 求 时 ， 这 种 部 署 是 可 行 的 。 大 多 数 Aneka 云 中 的 节点 由 物理 机 





图 5-5 私有 云 部 署 
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构成 ， 具 有 很 长 的 生命 周期 和 静态 配置 并 且 不 需要 经 常 进行 重 新 配置 。 针 对 私有 云 环境 中 物 
理 机 的 不 同属 性 ， 可 以 通过 资源 预 留 服务 接口 制定 相应 的 资源 管理 和 使 用 策略 。 例 如 ， 需 要 
在 白天 进行 办 公 自 动 化 工作 的 台式 机 可 以 在 标准 工时 以 外 执行 分 布 式 任务 。 工 作 站 集群 可 能 
具有 一 些 支持 应 用 执行 的 既 有 软件 ， 因 此 更 适合 有 专属 需求 的 应 用 。 


5.3.4 ”公共 云 部 署 模式 


在 公共 云 部 署 模 式 下 ，Aneka 的 主 节点 和 工作 节点 完全 部 署 在 由 一 个 或 多 个 IaaS 服务 
商 〈 如 亚马逊 EC2、GoGrid) 提供 的 虚拟 化 设备 上 。 所 有 节点 都 被 事先 提供 以 便 静 态 部 冶 。 
这 种 部 署 方式 与 在 没有 动态 资源 扩展 能 力 的 物理 设备 上 安装 Aneka 是 一 致 的 。 有 趣 的 是， 
由 于 IaaS 服务 商 的 弹性 服务 特征 ， 云 的 创建 是 完全 动态 化 的 。 图 5-6 显示 了 这 一 场景 。 
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图 5-6 公共 云 部 署 


图 5-6 所 示 的 部 署 是 在 单一 laas 服务 商 所 提供 的 设备 环境 下 进行 的 ， 目 的 在 于 避免 不 
同 服务 商 之 间 的 数据 迁移 。 服 务 商 之 间 的 数据 迁移 成 本 很 高 ， 同 时 部 署 在 一 个 服务 商 的 环境 
中 网 络 性 能 更 好 。 公 共 云 环境 下 Aneka 可 以 部 署 在 单一 节点 上 ， 完 全 使 用 动态 分 配 接口 按 
需求 弹性 调整 设备 规模 。 资 源 分 配 服务 扮演 了 重要 角色 ， 可 以 将 不 同 的 镜像 和 模板 配置 给 实 
例 。 主 节点 中 必须 包含 的 服务 还 有 记录 和 报告 服务 。 它 们 向 用 户 和 应 用 提供 资源 的 使 用 细 
节 ， 在 多 用 户 云 环境 中 起 着 十 分 基础 的 作用 ， 而 用 户 依据 它们 对 资源 的 消耗 情况 进行 结算 。 

动态 实例 的 分 配 将 主要 应 用 于 工作 节点 的 分 配 ， 在 亚马逊 EC2 服务 中 ， 不 同 的 镜像 包 
含 了 不 同 的 硬件 资源 ， 工 作 容 器 可 以 从 中 选取 并 进行 配置 。 具 有 计算 或 存储 需求 的 应 用 将 会 
回调 度 器 传递 附加 信息 来 触发 合适 的 分 配 请 求 。 应 用 执行 并 不 是 唯一 使 用 动态 实例 的 情况 ， 
任何 使 用 弹性 扩展 的 服务 都 会 使 用 到 动态 分 配 机 制 。 存 储 服 务 是 另 一 个 实例 ， 在 多 用 户 云 
中 ， 多 种 应 用 可 能 需要 存储 服务 的 支持 ， 有 可 能 造成 瓶颈 或 达到 存储 节点 的 配额 限制 。 动 态 
分 配 可 以 通过 增加 云 的 计算 能 力 来 解决 这 一 问题 。 

由 于 在 不 同 服 务 商 间 进 行 数 据 迁 移 的 巨大 成 本 ， 目 前 在 不 同 服务 商 上 部 署 云 还 不 太 可 
能 ,但 是 这 可 能 成 为 联盟 Aneka 云 的 蓝图 [58] 。 在 这 种 场景 下 ， 通 过 相应 协议 和 更 优惠 的 
价格 ， 资 源 可 以 在 服务 商 之 间 实 现 共 享 和 租用 。 资 源 分 配 服务 策略 可 以 区 分 不 同 的 资源 供应 
商 ,， 通过 对 不 同 的 IaaS 服务 商 的 映射 提供 需求 分 配 的 最 佳 解决 方式 。 
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5.3.5 混合 云 部 署 模式 


混合 部 署 模 式 是 Aneka 最 常见 的 部 署 模式 ， 在 很 多 实例 中 都 需要 一 个 易 用 的 计算 框架 
来 处 理应 用 的 计算 需求 。 该 框架 可 以 是 一 个 Aneka 部 署 的 可 按 需 求 动态 扩展 的 框架 。 这 种 
部 署 如 图 5-7 所 示 . 
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图 5-7 混合 云 部 署 


这 种 部 署 是 最 完整 的 模式 ， 能 够 使 用 Aneka 框架 的 所 有 功能 ， 包 括 : 

e 动态 资源 分 配 。 

e 资源 预 留 。 

o 工作 负载 划分 。 

e 记录 、 监 控 和 报告 。 

此 外 ， 如 果 在 本 地 能 够 管理 一 些 虚 拟 机 资源 ， 则 可 能 实现 对 资源 的 充分 利用 ， 从 而 降低 
应 用 执行 的 费用 。 

在 混合 部 署 场景 下 ， 可 以 为 不 同 用 途 提供 不 同 的 异 构 资 源 。 正 如 私有 云 部 署 中 所 介绍 
的 ， 桌 面 设备 可 以 在 办 公 时 间 以 外 预 留 给 低 优先 级 的 工作 负载 ， 大 多 数 应 用 在 工作 站 和 集群 
中 运行 ， 这 些 节 点 始终 和 Aneka 云 相 连接 。 任 何 增加 的 计算 能 力 需 求 都 可 以 首先 被 本 地 虚 
拟 化 设备 所 处 理 ， 如 果 需 要 更 多 的 计算 能 力 ， 可 以 使 用 外 部 laaS 服务 商 的 资源 。 

混合 云 部 署 与 公共 云 部 署 的 区 别 是 利用 了 多 元 化 的 资源 供应 商 来 提供 虚拟 资源 。 由 于 部 
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分 设施 是 本 地 的 ， 数 据 迁移 到 外 部 laas 服务 商 的 设备 上 产生 的 花费 是 不 可 避免 的 。 因 此 在 
处 理应 用 请 求 时 要 选择 合适 的 方案 。Aneka 中 的 资源 分 配 服务 提供 了 同时 使 用 者 干 黄 源 池 以 
及 设置 最 佳 资 源 池 配 置 策略 的 能 力 。 上 述 特性 可 以 简化 用 户 策略 的 开发 ， 更 好 地 满足 混合 部 
署 的 需求 。 


54 云 编程 和 云 管理 


Aneka 的 初衷 是 提供 一 个 执行 分 布 式 应 用 的 可 扩展 中 间 件 产品 。 对 开发 者 和 管理 者 而 
言 ， 应 用 开发 和 管理 是 Aneka 最 主要 的 产品 特性 。 为 了 简化 上 述 过 程 Aneka 回 开 发 者 提供 
了 全 面 的 可 扩展 的 API 集合 ， 向 管理 者 提供 了 有 力 的 和 直观 的 管理 工具 。 开 发 者 的 API E 
要 集中 在 Aneka SDK 中 ， 管 理工 具 主 要 通过 管理 控制 台 提供 。 


5.4.1 Aneka SDK 


Aneka 提供 API， 用 于 基于 现 有 编程 模型 开发 应 用 、 实 现 新 的 编程 模型 以 及 开发 新 的 云 
平台 集成 服务 接口 。 应 用 开发 主要 关注 应 用 现 有 特性 和 使 用 中 间 件 服务 接口 ， 而 新 的 编程 模 
型 和 服务 接口 开发 将 会 丰富 Aneka 的 特性 。SDK 通过 应 用 模型 和 服务 模型 的 方式 来 提供 对 
编程 模型 和 服务 接口 的 编程 支持 。 前 者 与 应 用 开发 和 新 编程 模型 开发 有 关 ， 后 者 则 通过 服务 
接口 开发 定义 通用 框架 。 

1. 应 用 模型 

Aneka 通过 提供 抽象 编程 模型 实现 对 云 中 分 布 式 执行 的 支持 。 编 程 模型 定义 了 开发 者 所 
使 用 的 抽象 以 及 程序 在 Aneka 上 运行 所 需 的 运行 支持 。 应 用 模型 表示 适用 于 所 有 编程 模型 
(代表 Aneka 平台 上 的 分 布 式 任务 ) 的 最 小 化 API 集合。 根据 需求 和 每 个 编程 模型 的 特性 ， 
可 进一步 定制 应 用 模型 。 

图 5-8 显 示 了 编程 模型 所 定义 的 组 件 ，Aneka 平 台 运 行 的 每 个 分 布 式 应 用 都 是 
ApplicationBase<M> 类 的 实例 ，M 定义 了 应 用 管理 器 的 类 型 。 应 用 类 构成 了 开发 者 视角 下 
的 分 布 式 应 用 ， 而 应 用 管理 器 是 类 的 内 部 成 员 ， 用 来 和 Aneka 云 进 行 交互 以 监视 和 控制 应 
用 的 执行 。 应 用 管理 器 是 编程 模型 实例 中 的 第 一 个 元 素 ， 并 根据 编程 模型 的 不 同 选择 来 不 对 
同 的 管理 器 进行 配置 。 

无 论 使 用 哪 种 编程 模型 ， 分 布 式 应 用 都 可 以 在 接收 端 被 分 解 为 一 系列 任务 。Aneka 将 应 
用 进一步 划分 为 两 类 : 基于 用 户 任务 的 应 用 和 基于 运行 平台 任务 的 应 用 。 这 两 类 应 用 对 应 了 
不 同 的 应 用 基 类 以 及 不 同 的 应 用 管理 实现 。 

第 一 类 应 用 最 为 常见 并 关联 了 几 种 编程 模型 : 任务 模型 、 线 程 模型 以 及 参数 化 模型 。 该 
类 应 用 由 一 系列 用 户 提 交 的 工作 单元 组 成 ， 每 个 单元 都 是 WorkUnit 类 的 子 类 。 每 个 工作 单 
元 具有 输入 和 输出 文件 ， 文 件 的 传输 由 运行 环境 进行 透明 管理 。 工 作 单 元 的 具体 子 类 取决 于 
编程 模型 (任务 模型 对 应 AnekaTask class， 线 程 模型 对 应 AnekaThread Class)。 用 户 任 务 的 
应 用 都 是 AnekaApplication ( W, M) 的 子 类 或 实例 。W 表示 WorkUnit 类 的 子 类 (多 态 性 )， 
M 表示 IManalApplicationManager 接口 的 实现 类 。 

第 二 类 应 用 包含 了 MapReduce 以 及 其 他 基于 运行 平台 的 应 用 ， 这 种 情况 下 工作 单元 没有 
通用 的 类 型 ， 应 用 开发 者 所 使 用 的 具体 类 型 取决 于 编程 模型 的 需要 。 例 如 在 MapReduce 模型 
中 ， 开 发 者 用 两 种 函数 表示 它们 的 分 布 式 应 用 ，map 和 reduce。 因 此 ，MapReduceApplication 
类 为 Mapper<K,V> 和 Reducer<K,V>， 提 供 相 应 接口 以 及 应 用 所 需 的 输入 文件 。 其 他 编程 
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模型 可 能 具有 不 同 的 需求 和 接口 。 因 此 ， 除 了 ApplicationBase<M> (M 表示 lauto- 
ApplicationManager)， 这 一 类 别 中 没有 其 他 通用 基 类 ，。 
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图 5-8 Aneka 应 用 模型 


一 系列 附加 类 组 成 了 对 象 模型 ， 在 这 些 类 中 ， 最 值得 关注 的 是 Configuration 类 ， 它 用 
来 初始 化 应 用 并 配置 其 行为 。 以 及 ApplicationData 类 ， 它 包含 应 用 的 执行 信息 。 
表格 5-1 概括 了 目前 Aneka 可 文 持 的 应 用 模型 的 特征 以 及 对 应 的 编程 模型 。 编 程 模 型 
是 可 以 扩展 的 ， 因 此 可 以 利用 表格 中 的 基 类 构造 新 的 编程 模型 。 编 程 模型 扩展 可 以 通过 增加 
(具体 化 ) 现 有 编程 模型 的 实现 特征 ， 或 者 使 用 基 类 来 定义 新 的 编程 模型 和 抽象 来 实现 。 例 
如 ， 参 数 化 模型 是 任务 模型 的 扩展 ， 在 Aneka 云 应 用 管理 环境 中 已 经 实现 。 此 类 模型 回 终 
端 用 户 提 供 特 定 接 口 ， 用 户 只 需 定 义 相 关 模 板 任务 和 参数 。 
表 5-1 Aneka 应 用 模型 特征 


基本 应 用 类 型 


二 „~ | AnekaApplicaton <W, M> 
工作 单元 由 用 户 产生 ， 并 通 eas 
过 应 用 提交 IManualApplication Manager <W> 
ne Manual ApplicationManager <W> 


















参数 化 模型 
MapReduce 模型 


工作 单元 由 运行 中 的 基础 设 | ApplicationBase <M> 


施 产生 ， 并 在 其 内 部 进行 管理 ”| LAutoApplicationManager 


2. 服务 模型 
Aneka 云 服 务 模型 定义 了 实现 一 个 云 服 务 所 需 的 基本 要 求 。 容 器 定义 了 加 载 服务 的 运 
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行 环境 。 每 项 加 载 在 容器 中 的 服务 必须 加 载 一 个 IService 接口 ， 该 接口 呈现 了 以 下 方法 和 
属性 : 

© 名 称 和 状态 。 

e 控制 操作 ， 例 如 开始 、 停 止 、 和 暂停 和 继续 。 

e 消息 处 理 方法 。 

与 终端 用 户 直接 交互 的 服务 可 以 直接 提供 给 用 户 ， 例 如 资源 分 配 和 预 留 服 务 。 除 了 使 
用 容器 来 开启 和 关闭 服务 的 控制 操作 外 ， 服 务 的 核心 逻辑 都 包含 在 消息 处 理 机 制 中 ， 位 于 
HandleMessage 方法 下 。 每 项 需要 使 用 服务 的 操作 由 具体 消息 所 触发 ， 操 作 结 果 也 通过 消息 
回执 给 调用 者 。 

图 5-9 描述 了 容器 中 每 个 服务 实例 的 生命 周期 。 阴 影 圆 圈 表 示 临 时 状态 ， 空 日 圆圈 表示 
稳定 状态 。 服 务实 例 初 始 化 后 可 以 进入 未 知 或 初始 化 状态 ， 一 种 在 容器 配置 阶段 触发 容器 中 
相应 构造 器 的 状态 。 一 旦 容器 启动 ， 容 器 会 对 每 项 服务 调用 局 动 消 数 ， 之 后 服务 实例 会 进入 
启动 状态 。 启 动 过 程 完成 后 进入 运行 状态 。 在 容器 运行 周期 内 ， 服 务 将 一 直 处 于 运行 状态 。 
运行 状态 也 是 服务 唯一 能 够 处 理 消息 的 状态 。 如 果 在 服务 启动 过 程 中 发 生 了 异常 ， 服 务实 例 
将 会 返回 未 知 状态 ， 并 返回 一 个 错误 标识 符 。 





5-9 ”服务 生命 周期 


服务 在 运行 过 程 中 可 以 使 用 暂停 和 继续 方法 使 服务 暂停 和 继续 。 如 图 5-9 所 示 ， 服 务实 
例 首 先进 入 暂停 中 状态 ， 然 后 进入 已 暂停 状态 ， 再 之 后 进入 恢复 状态 并 恢复 其 活动 直至 返回 
运行 状态 。 不 是 所 有 服务 都 需要 支持 暂停 / 继续 操作 。 目 前 框架 中 并 不 是 所 有 服务 都 提供 上 
述 功 能 。 

当 容 器 注销 时 ， 容 器 对 每 项 服务 调用 停止 方法 ， 并 进入 到 最 终 的 停止 状态 。 所 有 预先 分 
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配 的 资源 将 会 被 释放 。 

Aneka 提供 了 一 个 默认 基 类 来 简化 服务 的 实现 ， 同 时 对 服务 开发 者 设 定 了 一 些 引导 规则 
以 便 所 开发 的 服务 能 够 与 Aneka 兼容 。 特 别 是 定义 了 可 扩展 的 Servicebase 类 来 实现 服务 ， 
该 类 是 框架 中 一 些 服务 的 基 类 并 提供 了 一 些 内 置 特性 : 

e IService 接口 所 呈现 的 基本 属性 的 定义 。 

© 对 访问 能 力 和 状态 控制 相关 操作 的 实现 。 

a ee 

e 文 持 服务 监控 

er VO ge 
提供 对 应 的 服务 客户 端 。 

Aneka 使 用 了 一 个 强 类 型 的 信息 传递 通信 模型 ， 每 项 服务 定义 自己 的 消息 体系 ， 不 同 消 
轧 的 设 定 是 独占 的 。 因 此 ， 新 服务 接口 的 开发 者 也 需要 定义 所 开发 服务 使 用 的 消息 类 型 ， 以 
便 和 其 他 服务 和 客户 端 通信 。 每 个 消息 类 型 都 是 Message 基 类 的 集成 子 类 。Message 类 定义 
Sa RRR: 

e JET AM HERT Ao 

© 源 服务 和 目标 服务 。 

e 安全 凭据 。 

每 个 信息 类 型 还 包含 附加 信息 。 在 Aneka 平台 中 ， 信 息 传递 应 用 广泛 。 对 于 应 用 直接 
使 用 的 服务 ， 它们 会 提供 一 个 服务 客户 端 ， 提 供 面 向 对 象 的 操作 接口 。Aneka 提供 了 一 个 
吻 用 平台 ， 可 以 通过 中 间 件 将 服务 客户 端 动态 注 和 应用。 继承 自 ServiceBase 类 的 服务 已 经 
支持 了 上 述 特 征 ， 只 需要 为 服务 客户 端 类 定义 接口 和 具体 实现 。 服 务 客 户 端 在 将 Aneka Ak 
务 集成 进 已 有 应 用 方面 十 分 方便 ， 已 有 应 用 不 需要 分 布 式 应 用 的 文 持 或 者 接 人 额外 的 服务 
接口 : 

Aneka 在 服务 配置 方面 也 提供 了 丰富 的 文 持 。 开 发 者 可 以 定义 editors 类 和 configuration 
类 ， 通 过 容器 所 需 的 工作 流 将 服务 配置 信息 集成 到 管理 工具 中 。 


5.4.2 ”管理 工具 


Aneka 是 一 个 纯 PaaS 实现 ， 使 用 虚拟 或 物理 设备 资源 进行 部 署 。 因 此 ， 基 础 设备 管理 ， 
以 及 在 设备 上 安装 逻辑 云 的 相关 设备 管理 ， 是 管理 接口 层 的 重要 特征 。 该 层 也 包括 了 管理 云 
中 服务 和 应 用 实例 的 能 力 。 

1. 设备 管理 

Aneka 使 用 虚拟 或 物理 设备 资源 来 部 署 云 平 台 。 虚 拟 硬件 总 体 上 通过 资源 分 配 服务 进行 
管理 ， 应 用 根据 需求 获取 资源 。 物 理 硬件 通过 PAL 层 的 管理 API， 由 管理 控制 台 直 接管 理 。 
管理 的 内 容 主要 是 物理 硬件 的 分 配 和 Aneka 在 硬件 上 的 远程 安装 。 

2. 平台 管理 

设备 管理 提供 了 云 部 署 环境 上 的 一 个 基础 接口 层 。 云 创建 的 过 程 就 是 将 一 系列 服务 部 署 
在 物理 设备 上 ， 以 实现 容器 的 安装 和 管理 。 一 系列 互联 的 容器 定义 了 应 用 的 执行 平台 。 平台 
管理 的 主要 内 容 是 云 的 逻辑 组 织 和 框架 。Aneka 可 以 将 可 用 的 硬件 资源 划分 到 若干 云 中 作为 
不 同 用 途 使 用 。 服 务 接口 实现 了 Aneka 云 的 核心 特征 ,管理 接口 层 提供 了 一 些 服务 的 操作 
接口 ， 例 如 云 监控 、 资 源 分 配 和 预 留 、 用 户 管理 、 应 用 概要 分 析 。 
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3. 应 用 管理 

应 用 定义 了 用 户 对 云 的 贡献 。 管 理 API 提供 监控 和 分 析 功 能 ， 帮 助 管理 者 记录 用 户 和 
应 用 对 资源 的 使 用 。 在 以 资源 使 用 作为 用 户 结算 依据 的 云 环 境 下 ， 这 是 十 分 重要 的 功能 。 
Aneka 提供 了 对 应 用 执行 和 资源 使 用 生成 宏观 和 微观 分 析 信息 的 能 力 。 

上 述 特征 通过 主管 理 控制 台 的 管理 工作 室 来 实现 。 


本 章 小 结 


本 章 介 绍 了 Aneka， 一 个 支持 云 应 用 编程 的 平台 。Aneka 是 一 个 纯 PaaS 实现 ， 构 成 了 
一 个 能 够 在 异 构 资 源 (人 台式 机 、 集 群 、 公 共 虚 拟 机 ) 上 创建 云 平台 的 中 间 件 产品 。 

Aneka 框架 的 一 个 核心 特征 是 可 配置 运行 环境 ， 可 以 创建 基于 服务 的 应 用 执行 中 间 件 。 
平台 的 一 个 基础 元 素 是 容器 ， 代 表 了 云 的 部 署 单元 。 容 器 装载 了 一 系列 服务 ， 定 义 了 中 间 件 
的 处 理 能 力 。Aneka 中 间 件 的 基础 服务 如 下 : 

© 构造 服务 ， 支 持 监控 、 资 源 分 配 、 硬 件 分 析 和 成 员 管理 。 

e 基础 服务 ， 文 持 存储 、 资 源 预 留 、 结 算 、 记 录 和 报告 。 

e 应 用 服务 ， 支 持 调度 和 执行 。 

从 编程 应 用 的 角度 ，Aneka 提供 对 不 同 编程 模型 的 支持 ， 人 允许 开发 者 通过 不 同 抽象 
模型 扩展 分 布 式 应 用 。 该 框架 目前 支持 三 种 模型 : 相互 独立 任务 的 模型 、 多 线程 模型 和 
MapReduce。 

Aneka 平台 是 可 扩展 的 ， 通 过 提供 应 用 模型 和 服务 模型 来 实现 扩展 ， 将 新 的 服务 接口 和 
编程 模型 集成 到 系统 内 部 。 


习题 


. 请 简单 描述 Aneka 的 主要 特点 。 

. Aneka 容器 是 什么 ? 它 的 用 处 是 什么 ? 
. Aneka 容器 承载 的 服务 类 型 有 哪些 ? 

. FHI Aneka 的 资源 分 配 功能 。 

. Hi Aneka 的 存储 架构 的 实现 。 
.什么 是 编程 模型 ? 

. 列举 Aneka 支持 的 编程 模型 。 
.Aneka 的 基础 结构 组 成 组 件 有 哪些 ? 
.讨论 Aneka 云 的 逻辑 组 织 结构 。 

10. 工作 节点 承载 了 哪些 服务 ? 

11. 讨论 Aneka 云 的 私有 部 署 。 

12. 讨论 Aneka 云 的 公共 部 署 。 

13. 讨论 混合 部 署 中 动态 资源 分 配 的 角色 。 
14. Aneka 为 开发 提供 哪些 设施 ? 

15， 讨 论 Aneka 应 用 模型 的 主要 特征 。 

16. 讨论 Aneka 服务 模型 的 主要 特征 。 
17. 讨论 Aneka 管理 工具 在 基础 设施 、 平 台 和 应 用 中 的 特征 。 
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吞吐 量 计算 着 眼 于 以 事务 的 形式 传送 大 量 的 计算 。 由 于 设计 之 初 就 和 事务 处 理 有 关 
[60] ， 所 以 吞吐 量 计算 自 诞生 以 来 就 不 断 得 到 扩展 ， 并 已 经 超出 了 原 有 的 领域 。 硬 件 技术 
的 进步 导致 多 核 系统 的 产生 ， 这 使 得 即使 是 在 单个 计算 机 系统 内 ， 高 吞吐 量 计算 传输 成 为 可 
能 。 在 这 种 情况 下 ， 吞 吐 量 计 算 可 使 用 多 进程 和 多 线程 实现 。 多 进程 是 指 多 个 程序 在 一 个 机 
器 上 执行 ， 而 多 线程 与 同一 个 程序 内 多 个 指令 流 的 可 能 性 有 关 。 

这 一 章 介绍 多 线程 的 概念 ， 并 描述 多 线程 如 何 支持 高 吞吐 量 计 算 应 用 的 发 展 。 本 章 还 讨 
论 了 如 何 将 最 初 设想 为 包含 在 一 台 机 器 边界 内 的 多 线程 编程 扩展 到 具有 局 限 性 的 分 布 式 环境 
H, Aneka 线程 编程 模型 将 会 作为 一 种 参考 模型 来 描述 云 计算 多 线程 模型 的 一 种 可 行 性 实现 。 


6.1 单机 并 行 计 算 简介 


日 20 世纪 60 年 代 初 期 ， 当 Burroughs 公司 设计 出 有 史 以 来 第 一 台 MIMD (多 指令 多 数 
据 ) 多 人 处理 右 D825 时 ， 并 行 性 已 成 为 提高 计算 机 性 能 的 一 种 技术 。 从 那 时 起 ， 人 们 提出 了 
各 种 并 行 战略 。 尤 其 是 多 进程 ， 即 在 单个 机 器 内 多 处 理 单元 的 使 用 ， 已 得 到 大 量 的 关注 并 产 
生 了 几 种 并 行 架构 。 

最 重要 的 区 别 之 一 是 在 处 理 单元 的 对 称 性 方面 。 非 对 称 多 进程 包括 专门 执行 不 同 功能 的 
不 同 处 理 单 元 的 同时 使 用 。 对 称 多 进程 则 以 使 用 类 似 或 相同 的 处 理 单元 分 担 计算 负载 为 特征 。 
其 他 例子 包括 非 均 匀 存 储 器 访问 (NUMA) 和 集群 多 进程 ， 它 们 各 自 定 义 了 一 个 特定 的 架构 ， 
以 便 在 不 同 处 理 咒 间 访 问 共 享 存储 器 ， 以 及 将 多 个 计算 机 结合 到 一 起 作为 单个 虚拟 机 来 使 用 。 

对 称 和 非 对 称 多 进程 是 用 于 提升 商用 计算 的 硬件 性 能 的 技术 。 图 形 处 理 单元 (GPU) 作 
为 实际 处 理 器 ， 是 非 对 称 处 理 的 一 个 应 用 ， 而 多 核 技术 是 对 称 多 进程 的 演变 。 因 为 物理 限制 
对 频率 扩展 ”的 影响 ， 现 在 多 处 理 器 (特别 是 多 核 技 术 ) 显得 至 关 重 要 ， 近 年 来 这 种 技术 已 
经 成 为 实现 性 能 增益 的 惯例 。 提 高 处 理 器 时 钟 频率 而 对 电源 功 耗 和 冷却 没有 影 啊 已 不 册 可 
能 。2004 年 5 月 ， 当 英特尔 正式 取消 两 个 新 微 处 理 器 的 开发 转 而 支持 多 核 时 ” ， 无 代价 增加 
时 钟 频 率 变 得 不 再 可 行 。 人 们 普遍 认为 这 一 时 期 是 频率 扩展 时 代 的 结束 和 多 核 技 术 的 开端 。 
其 他 问题 也 已 确定 了 频率 扩展 时 代 的 结束 ， 比 如 不 断 增 加 的 处 理 器 和 内 存 速度 差距 ， 以 及 增 
加 指令 层 并 行 来 保持 单个 高 性 能 内 核 工作 的 难度 。 


O 频率 扩展 是 指 增 加 处 理 器 的 时 钟 频 率 从 而 提高 其 性 能 。 时 钟 频 率 的 增加 导致 高 功 耗 和 可 能 使 得 机 器 停止 运转 
的 高 温度 ， 这 成 为 时 钟 频率 不 能 持续 增加 的 限定 值 。 频 率 扩展 也 称 为 频率 斜坡 ， 是 从 20 世纪 80 年 代 中 期 到 
2004 年 末 这 段 时 期 内 实现 性 能 增益 的 主导 技术 。 

© www.nytimes.com/2004/05/08/business/08chip.html?ex=1399348800&en=98cc44ca97bla562&ei=5007。 

O 指 今 层 并 行 是 对 一 个 计算 机 程序 一 次 可 以 执行 多 少 个 操作 的 一 种 度量 。 有 几 种 可 以 用 来 在 微 结构 层面 增加 指 
今 层 并 行 的 技术 。 其 中 之 一 是 指令 流水 线 技术 ， 涉 及 指令 划分 层 阶段 ， 以 便 单个 处 理 单元 可 以 在 同一 时 间 内 
通过 对 每 个 指令 开展 不 同 阶段 而 执行 多 个 指令 。 
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多 核 系统 由 一 个 以 共享 内 存 的 多 处 理 器 核 为 主 的 单 处 理 器 组 成 。 每 个 核 一 般 有 自己 的 组 
存 L1， 缓 存 L2 为 以 共享 总 线 方 式 连 
接 到 缓存 上 的 所 有 核 共 有 ， 如 图 6-1 
所 示 。 双 核 和 四 核 结 构 现 今 十 分 流 
行 , 已 成 为 组 成 商用 计算 机 的 标准 硬 。 e-paper | camilla | 
件 结构 。 多 核 架 构 也 是 可 行 的 , 但 不 ， | 
是 为 了 商用 市 场所 设计 。 多 核 技术 不 
仅仅 用 于 支持 处 理 器 设计 ， 而 且 在 其 
他 设备 (如 GPU 和 网 络 设备 ) 中 也 成 
为 一 个 提高 性 能 的 标准 惯例 。 

多 进程 只 是 一 种 可 以 用 来 实现 并 el 
行 的 技术 ， 方 法 是 使 用 并 行 硬件 架 | | ee ES ~- GE nen | 
构 。 当 程序 设计 考虑 了 这 一 特点 时 ， oeer = SS ! 
并 行 架 构 才 能 被 更 好 地 利用 。 特 别 图 6-1 多 核 处 理 器 
地 ， 操 作 系 统 作为 一 个 重要 的 角色 ， 
通过 抽象 的 进程 和 线程 定义 了 应 用 程序 的 运行 架构 。 进 程 是 一 个 应 用 程序 运行 时 的 图 像 ， 或 
者 更 大 程度 上 是 一 个 正在 运行 的 程序 ， 而 线程 标识 一 个 进程 内 执行 的 单个 流 。 人 允许 多 进程 执 
行 的 系统 ， 同 时 也 支持 多 任务 处 理 。 当 在 一 个 进程 内 明确 定义 了 多 个 线程 结构 时 ， 它 就 文 持 
多 线程 。 

注意 ， 引 人 人 多核 技 术 前 ， 多 任务 和 多 线程 可 以 在 由 单个 处 理 器 和 单 核 组 成 的 计算 机 人 硬件 
上 作为 惯例 实现 。 在 这 种 情况 下 ， 操 作 系 统 可 通过 交叉 执行 不 同 进程 和 同一 进程 内 不 同 线程 
的 指令 呈现 并 发 执行 的 假象 。 这 也 是 在 多 处 理 器 /多核 系统 中 的 情况 ， 因 为 线程 或 进程 的 数 
量 高 于 处 理 器 或 内 核 的 数量 。 如 今 ， 几 乎 所 有 常用 的 操作 系统 都 支持 多 任务 和 多 线程 处 理 。 
此 外 ， 所 有 主流 编程 语言 都 在 其 API 中 纳入 了 进程 和 线程 的 抽象 概念 ， 然 而 对 于 开发 者 而 
言 ， 多 人 处理 絮 和 多 核 的 直接 支持 却 是 十 分 有 限 的 ， 还 经 常 减少 并 局 限于 特定 的 库 ， 如 编程 语 
言 C/C++ 的 子 集 。 | 

本 章 主要 关注 多 线程 编程 ， 这 是 现 已 得 到 完全 支持 并 且 在 单 进程 中 实现 并 行 最 简单 的 方 
法 (不 管 底层 的 硬件 结构 如 何 )。 


6.2 线程 编程 应 用 


现代 应 用 程序 可 以 同时 执行 多 个 操作 。 开 发 人 员 按照 线程 组 织 程序 以 便 表 达 程序 内 部 的 
并 发 性 。 线 程 的 使 用 可 以 是 隐 式 或 显 式 的 。 隐 式 线程 发 生 在 底层 API 使 用 内 部 线程 来 执行 
特定 任务 以 支持 应 用 程序 的 执行 时 ， 如 图 形 用 户 界面 (GUD) 的 呈现 ， 或 在 虚拟 机 语言 情况 
下 的 垃圾 回收 。 显 式 线程 以 应 用 程序 之 间 的 线程 使 用 为 特点 ， 开 发 人 员 使 用 这 种 抽象 形式 引 
入 并 行 结构 。 线 程 的 显 式 调用 一 般 与 设备 WO 和 网 络 连接 相关 ， 对 长 时 间 的 计算 或 后 台 操作 
的 执行 结果 没有 特定 的 时 间 约 束 。 线程 的 使 用 最 初 被 定向 为 允许 异步 操作 一 一 尤其 是 为 异步 
VO 或 长 时 间 计算 提供 设施 ， 以 便 应 用 程序 的 用 户 界 面 不 会 被 阻挡 或 没有 反应 。 随 着 并 行 架 
构 的 到 来 ， 多 线程 的 使 用 已经 成 为 一 种 有 效 的 技术 ， 它 能 够 提高 系统 香 吐 量 ， 同 时 也 是 春 吐 
量 计算 的 一 种 可 行 选择 。 为 达到 此 目的 ， 线 程 的 使 用 会 对 需要 重 构 的 算法 的 设计 产生 显著 影 
响 。 本 节 讨论 用 于 支持 并 行 和 分 布 式 算法 设计 的 线程 的 使 用 。 
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6.2.1 什么 是 线程 


线程 标识 进程 内 的 单个 控制 流 ， 是 指令 的 一 个 逻辑 序列 。 指 令 的 逻辑 序列 指 的 是 按照 程序 
员 的 设计 一 个 接 一 个 执行 的 指令 序列 。 通 俗 来 讲 ， 线 程 标识 一 种 用 于 缝 幼 的 纱 线 ， 而 由 纱 线 的 
互 锁 纤维 表现 出 的 连续 感 ， 则 对 应 着 由 线程 指令 表达 出 的 操作 所 具有 的 逻辑 连续 序列 的 概念 。 

文 持 多 线程 的 操作 系统 将 线程 识别 为 表示 运行 代码 的 最 小 程序 块 。 这 意味 着 除了 开发 人 
员 使 用 的 显 式 线程 之 外 ， 操 作 系 统 执行 的 任何 指令 序列 都 在 一 个 线程 中 。 因 此 ， 每 个 进程 至 
少 包 含 一 个 线程 ， 但 在 某 些 情况 下 ， 进 程 会 由 多 个 具有 不 同 生存 周期 的 线程 组 成 。 同 一 个 进 
程 中 的 线程 共享 内 存 空间 和 执行 内 容 ， 除 此 之 外 ， 不 同 进程 的 线程 没有 实质 性 的 区 别 。 

在 一 个 多 任务 环境 中 ， 操 作 系 统 为 每 个 进程 分 配 不 同 的 时 隙 并 交错 执行 。 暂 停 一 个 进程 
的 执行 的 进程 ， 在 寄存 器 中 保存 所 有 信息 (通常 包括 CPU 的 状态 以 便 以 后 恢复 )， 并 把 它 替 
换 为 与 另 一 个 进程 相关 的 信息 ， 这 称 为 上 下 文 。 一 般 认 为 这 一 操作 是 费时 的 ， 多 线程 的 使 用 
可 使 内 容 切换 产生 的 延 时 减 到 最 小 ， 从 而 更 易于 实现 多 任务 的 执行 。 表 征 一 个 线程 的 执行 的 
状态 比 描述 一 个 进程 要 简单 。 因 此 ， 相 比 于 进程 之 间 的 切换 ， 更 倾向 于 选择 线程 之 间 的 切换 。 
显然 ， 当 且 仅 当 执 行 的 任务 在 逻辑 上 是 彼此 相关 的 且 和 需要 共享 内 存 或 其 他 资源 时 ,使 用 多 线 
程 取 代 多 进程 是 合乎 情理 的 。 如 果 不 是 这 样 ， 更 好 的 设计 是 将 它们 分 离 到 不 同 的 进程 中 。 

图 6-2 提供 了 线程 和 进程 之 间 的 关系 概览 ， 以 及 一 个 多 线程 应 用 运行 时 的 简化 描述 。 正 在 
运行 的 程序 标识 为 一 个 进程 ， 其 中 包含 至 少 一 个 线程 ， 也 称 为 主线 程 。 此 类 线程 是 由 编译 髓 或 
正在 执行 程序 的 运行 环境 隐 式 创建 的 。 这 个 线程 很 可 能 持续 在 程序 的 整个 生存 周期 ， 并且 是 其 
他 线程 的 起 源 ， 这 些 程序 一 般 显 示 较 短 的 持续 时 间 。 主 线程 可 以 衍生 出 其 他 线程 。 主 线程 与 进 
程 生存 周期 中 产生 的 其 他 线程 没有 区 别 ， 它 们 每 个 都 有 自己 的 本 地 存储 和 要 执行 的 指令 序列 ， 
都 共享 分 配给 整个 进程 的 存储 空间 。 当 所 有 的 线程 都 完成 时 才 可 以 认为 进程 执行 终止 。 
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图 6-2 进程 与 线程 的 关系 
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6.2.2 线程 API 


尽管 多 线程 的 支持 依 操作 系统 和 用 于 开发 应 用 的 特定 编程 语言 的 不 同 而 不 同 ， 但 是 确定 
一 个 所 有 实现 通用 的 最 小 限度 的 功能 集 是 可 能 的 。 

1. POSIX 线程 

UNIX 可 移植 操作 系统 接口 (POSIX) 是 一 套 应 用 编程 接口 标准 ， 用 于 UNIX 操作 系统 
环境 下 的 应 用 程序 便携 式 开发 。POSIX 1.c 标准 (IEEE Std 1003.1c-1995 ) 解决 了 线程 的 执 
行 问 题 ， 人 允许 程序 员 开 发 可 移植 的 多 线程 应 用 程序 。 这 个 标准 针对 基于 UNIX 的 操作 系统 ， 
但 已 有 提供 基于 Windows 系统 的 相同 技术 参数 的 实现 . 

UNIX 可 移植 操作 系统 接口 标准 定义 了 以 下 操作 : 创建 带 属 性 的 线程 、 线 程 的 终止 和 等 
待 线 程 结束 (连接 操作 )。 除 了 线程 的 逻辑 结构 之 外 ， 还 将 引进 其 他 抽象 概念 ， 如 信号 景 、 
条 件 、 读 写 锁 等 ， 以 支持 线程 之 间 的 正确 同步 。 

UNIX 可 移植 操作 系统 接口 提出 的 模型 已 成 为 其 他 实现 的 参考 ， 这 可 能 会 为 开发 者 提供 
具有 类 似 功能 的 不 同 接 口 。 从 编程 角度 要 重点 记忆 的 是 以 下 几 点 : 

e 一 个 线程 标识 指令 的 一 个 逻辑 序列 . 

e 一 个 线程 被 映射 到 一 个 包含 将 要 执行 的 指令 序列 的 函数 . 

e 一 个 线程 可 以 创建 、 和 终止 和 连接 。 

e 一 个 线程 有 一 个 可 以 确定 其 当前 情况 的 状态 ， 无 论 该 线程 是 在 执行 、 中 断 、 和 终止 、 
等 待 还 是 输入 /输出 等 。 
线程 正在 经 历 的 状态 序列 ， 部 分 由 操作 系统 调度 器 决定 ， 部 分 由 应 用 程序 开发 人 员 
决定 。 

e 线程 共享 进程 的 内 存 ， 由 于 二 者 同时 进 ， 因 此 需要 同步 结构 . 

e 提供 不 同 同步 抽象 概念 以 解决 不 同 的 同步 问题 . 

C 语言 提供 了 UNIX 可 移植 操作 系统 接口 标准 1.c 的 默认 实现 。 所 有 可 用 函数 和 数据 结 
构 都 在 pthread.h 头 文件 中 ， 这 是 标准 C 语言 实现 的 一 部 分 . 

2. Java 和 .NET 中 的 线程 支持 

Java 和 C# 等 语言 通过 面向 对 象 的 方法 为 多 线程 编程 提供 丰富 的 函数 。 由 于 Java 
Al NET 都 在 虚拟 机 上 执行 代码 ， 所 以 库 提供 的 应 用 程序 接口 涉及 托管 或 逻辑 线程 。 由 这 些 
语言 开发 的 程序 所 执行 的 运行 环境 映射 到 物理 线程 上 ( 即 由 底层 操作 系统 支持 的 抽象 )。 暂 
不 论 这 个 映射 过 程 ， 从 编程 的 角度 ， 托 管 的 线程 将 被 视 为 物理 线程 并 呈现 相同 的 功能 . 

Java 和 .NET 都 使 用 呈现 了 形 同 线程 操作 的 Thread 类 来 表达 线程 抽象 : 开始， 结束 ， 
暂停 ， 恢 复 ， 强 制 终 止 ， 人 休眠， 连接 ， 中 断 。 开 始 和 钻 束 /休眠 用 于 控制 线程 实例 的 生存 时 
间 ， 和 暂停 和 恢复 用 于 程序 化 暂停 然后 继续 执行 线程 。 一 般 不 推荐 在 Java 和 NET 中 使 用 这 两 
种 操作 ， 而 是 使 用 休眠 操作 适当 的 锁 技 术 。 这 个 操作 允许 在 一 个 预定 的 时 间 周 期 内 终止 线程 
的 执行 。 这 一 点 与 让 一 个 线程 等 待 直到 另 一 个 线程 完成 的 连接 操作 不 同 。 使 用 中 断 操 作 可 以 
中 断 这 些 等 待 状态 ， 恢 复 执行 线程 并 在 线程 代码 中 生成 一 个 异常 以 通知 异常 恢复 。 

两 个 框架 对 线程 间 的 同步 提供 不 同 的 支持 。 一 般 来 说 ， 互 斥 、 关 键 区 域 和 读 写 器 - 编 
写 印 锁 这 些 基 本 功能 是 由 基本 类 库 或 附加 库 完 全 覆盖 的 。 比 线程 抽象 更 高 级 的 构造 对 于 这 两 
种 语言 都 是 可 行 的 。 对 于 Java， 大 多 数 构造 包含 在 java.util.concurrent。 包 中 ， 而 一 组 丰富 


Ə http://download.oracle.com/javase/6/docs/api/java/uti/concurrent/package-summary.htm! à 
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的 NET 并 发 编程 的 应 用 程序 接口 通过 .NET 并 行 扩 展 框 架 9 得 到 进一步 扩大 。 
6.2.3 ”线程 并 行 计算 技术 


开发 并 行 应 用 需要 对 问题 及 其 逻辑 结构 有 足够 的 认 知 。 理 解 应 用 中 任务 的 依赖 项 和 关联 
关系 是 设计 正确 的 程序 结构 并 在 适当 情况 下 引入 并 行 的 基础 。 分 解 是 一 项 有 用 的 技术 ， 用 于 
分 析 问 题 是 否 可 以 分 成 部 分 (或 任务 ) 来 同时 执行 。 如 果 这 种 分 解 是 可 能 的 ， 那 么 它 也 为 并 
行 实现 提供 一 个 起 始点 ， 因 为 它 允 许 线程 并 发 执行 的 任务 分 解 为 独立 单元 。 两 个 主要 的 分 解 / 
分 割 技术 是 域 分 解 和 功能 分 解 。 

1. 域 分 解 | 

域 分 解 过 程 用 来 识别 功能 重复 但 独立 的 数据 计算 模式 。 就 吞吐 量 计算 而 言 ， 这 是 最 常见 
的 分 解 方式 ， 并 且 与 解决 问题 所 需 的 重复 计算 识别 相关 。 

当 这 些 计 算 相 同 ， 只 是 操作 的 数据 不 同 ， 且 可 以 按 任何 顺序 执行 时 ， 这 种 问题 称 为 高 度 
并 行 [59」。 高 度 并 行 问 题 是 最 简单 的 并 行 实例 ， 因 为 没有 必要 同步 没有 共享 任何 数据 的 不 同 
线程 。 此 外 ， 线 程 之 间 的 协调 和 通信 是 极 少 的 ， 这 大 大 简化 了 代码 逻辑 且 人 允许 高 计算 吞吐 量 。 

在 许多 情况 下 ， 为 解决 此 类 问题 制定 一 个 一 般 结构 是 可 能 的 ， 并 且 在 一 般 情 况 下 ， 可 以 
通过 域 分 解 实 现 并 行 。 主 从 模型 是 一 个 非常 常见 的 组 织 结构 ， 对 于 这 些 情况 : 

e 系统 分 为 两 个 主要 的 代码 段 。 

e 一 个 代码 段 包 含 分 解 逻 辑 和 协调 逻辑 。 

© 另 一 个 代码 段 包 含 要 执行 的 重复 计算 。 

e 主线 程 执 行 第 一 个 代码 段 。 
作为 主线 程 执行 结果 ， 和 需要 创建 足够 多 的 从 属 线程 来 执行 重复 计算 。 

e 每 个 从 属 线程 的 结果 收集 和 最 终结 果 的 合成 由 主线 程 执行 。 

尽管 重复 计算 的 复杂 性 严格 取决 于 问题 的 性 质 ,， 但 协调 和 分 解 逻辑 通常 很 简单 ， 只 涉及 
确定 要 创建 的 作业 的 单位 数量 。 一 般 来 说 ， 常 使 用 一 个 while 循环 或 for 循环 表达 分 解 逻辑 ， 
且 每 次 和 迭代 产生 的 新 作业 单元 将 被 分 配 到 一 个 从 属 线程 。 这 个 过 程 的 优化 涉及 线程 池 的 使 
用 ， 以 限制 用 于 执行 重复 计算 的 线程 的 数量 。 

就 高 度 并 行 问 题 而 言 ， 几 个 实际 问题 包括 : 

e 二 维 (或 更 高 维 ) 数据 集 的 几何 变换 。 

e 一 个 域 的 独立 和 重复 计算 ， 如 曼 德 勃 罗 集 和 蒙特 卡 罗 计 算 。 

虽然 高 度 并 行 问题 是 很 普遍 的 ， 但 是 它们 基于 强 有 力 的 假设 一 一 每 个 迭代 的 分 解 方法 
中 ， 隔 离 作业 的 一 个 独立 单位 是 有 可 能 的 。 这 使 得 获得 高 速 计算 吞吐 量 成 为 可 能 。 如 果 所 有 
迭代 的 值 都 依赖 于 以 前 迭代 获得 的 值 ， 那 么 这 样 的 条 件 是 不 符合 假设 的 。 这 种 情况 称 为 国有 
顺序 问题 ， 且 不 能 直接 应 用 前 面 所 述 的 方法 。 除 此 之 外 ， 仍 然 可 能 将 整个 计算 分 解 为 一 系列 
独立 的 作业 单元 ， 它 们 可 能 有 不 同 的 粒度 ， 比 如 通过 分 组 得 到 单个 计算 依赖 的 迭代 。 图 6-3 
所 示 为 高 度 并 行 的 分 解 示意 图 和 固有 顺序 问题 。 

为 了 展示 如 何 将 应 用 域 分 解 ， 可 以 创建 一 个 简单 的 程序 ， 使 用 多 个 线程 来 执行 矩阵 乘法 。 

矩阵 乘法 是 二 进 制 操作 ， 由 两 个 矩阵 生成 另 一 个 矩阵 。 原 始 和 矩阵 经 线性 变换 后 组 成 计算 
结果 。 有 几 种 执行 矩阵 乘法 的 技术 ， 其 中 ， 和 矩阵 的 乘积 是 使 用 最 广 的 。 图 6-4 为 矩阵 积 的 执 


行 示意 图 。 


© http://msdn.microsoft.com/en-us/concurrency/default.aspx o 
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算 阵 积 计算 结果 和 矩阵 中 的 每 个 元 素 , 分 别 是 第 一 个 和 第 二 个 输入 矩阵 相应 的 行 与 列 的 线 
性 组 合 。 应 用 于 每 个 结果 矩阵 元 素 的 公式 如 下 : 


因此 ， 执 行 矩 阵 积 需要 遵守 两 个 条 件 : 

© 输入 和 矩阵 必须 包含 类 具有 内 积 定义 的 可 比 性 数值 。 

。 第 一 个 矩阵 的 列 数量 必须 与 第 二 个 矩阵 的 行 数 量 相 匹配 。 

鉴于 这 些 条 件 ， 结 果 和 矩阵 具有 第 一 个 矩阵 的 行 数量 和 第 二 个 矩阵 的 列 数量 ， 并 且 每 个 元 
素 由 前 面 等 式 所 述 的 方式 计算 。 

显然 ， 和 迭代 运算 的 结果 由 矩阵 中 的 每 个 元 素 计 算得 到 。 它 们 都 使 用 相同 的 公式 ， 并 且 计 
算 不 依赖 于 从 结果 矩阵 其 他 元 素 计 算得 来 的 值 。 因 此 ， 对 于 高 度 并 行 问题 ， 可 以 按 以 下 步骤 
从 逻辑 上 组 织 多 线程 程序 : 
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e 通过 执行 前 面 的 等 式 定义 执行 结果 和 矩阵 中 单个 元 素 计算 的 功能 。 

© 创建 两 个 循环 (第 一 个 索引 遍历 第 一 个 矩阵 的 行 ， 第 二 个 索引 遍历 第 二 个 矩阵 的 列 ) 

产生 计算 结果 矩阵 元 素 的 线程 。 

e 结合 所 有 线程 完成 计算 ， 并 编写 结果 矩阵。 

为 了 举 个 这 种 解决 方案 的 实际 例子 ， 我 们 将 使 用 .NET 线程 进行 演示 。.NET 框架 提供 
System.Threading.Thread 类 ， 可 用 一 个 图 数 指针 配置 ， 也 称 为 一 个 代表 ， 以 异步 方式 执行 。 
这 样 ， 一 个 代表 必须 引用 一 些 类 中 的 定义 方法 。 因 此 ， 我 们 可 以 定义 一 个 简单 的 类 ， 以 行 
列 乘积 性 质 和 结果 值 的 方式 公开 。 这 个 类 也 定义 了 执行 实际 计算 的 方法 。 程 序 6-1 所 示 为 
ScalarProduct 类 。 


程序 6-1 ScalarProduct 类 


//<summary> 
Class ScalarProduct. Computes the scalar product between the row and the column 
‘' arrays. 
‘</summary> 
public class ScalarProduct 


<Summary> 
/ Scalar product. 
/// </summary> 
private double result; 
// <summary> 
' Gets the resulting scalar product. 
/ <j summa ry> 
public double Result{ get { returnthis.result; } } 


{// <summary> 
| Arrays containing the elements of the row and the column to multiply. 
( </summary> 
private double[] row, column; 


/ <summary> 
/// Creates an instance of the ScalarProduct class and configures it with the given 
‘/ row and column arrays. 

/// </summary> 
'// <param name="row’>Array with the elements of the row to be multiplied.</param> 

/ <param name="column*>Array with the elements of the column to be multiplied. 
/// </param> 
public ScalarProduct(double[] row, double[] column) 
| 

this.row = row; 

this.colum = colum; 
} 
/// <summary> 
/// Executes the scalar product between the row and the colum. 
/// </summary> 
/// <param name="row*>Array with the elements of the row to be multiplied.</param> 
/// <param name="column*>Array with the elements of the column to be multiplied. 
/// </param> 
public void Multiply() 
{ 

this.result = 0; 

for(int i=0; i<this.row.Length; i++) 

{ 

this.result += this.row[i] * this.column[i]; 


} 
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控制 主线 程 的 类 是 很 简单 的 。 在 这 种 情况 下 ， 我 们 跳 过 需要 从 标准 输入 或 从 文件 读 取 甜 阵 
的 样 例 代 码 ， 并 着 眼 于 主 控制 逻辑 ， 通 过 分 解 计算 、 创 建 线程 并 等 待 其 完成 来 编写 结果 矩阵。 

为 了 控制 线程 ， 需 要 追踪 线程 以 便 完成 计算 后 可 以 确认 线程 的 状态 并 获得 结果 。 可 以 创 
建 一 个 简单 的 程序 读 取 和 矩阵 ， 在 一 个 合适 的 数据 结构 中 跟踪 所 有 线程 ， 一 旦 线程 完成 ， 则 组 
成 最 终结 果 。 程 序 6-2 所 示 为 MatrixProduct 类 (有 所 省 略 )。 


程序 6-2 MatrixProduct 类 ( 主 程序 ) 





using System; 
using System. Threading; 
using System.Collections.Generic; 


///<summary> 
/// Class MatrixProduct. Performs the matrix product of two matrices. 
///</summary> 
public class MatrixProduct 
{ 
///<summary> 
/// First and second matrix of the produt. 
///</summary> 
private static double[,]Ja, b; 
///<summary> 
/// Result matrix. 
///</summary> 
private static double[,] c; 
///<summary> 


/// Dictionary mapping the thread instances to the corresponding ScalarProduct 
/// instances that are run inside. 

///</summary> 

private static IDictionary<Thread, ScalarProduct>workers. 


///<summary> 
/// Read the command line parameters and perform the scalar product. 
///</summary> 
///<param name="args*>Array strings containing the command line parameters.</param> 
public static void Main(string[] args) 
{ 
// reads the input matrices a and b. 
MatrixProduct .ReadMatrices(); 
// executes the parallel matrix product. 
MatrixProduct.ExecuteProudct (); 
// waits for all the threads to complete and 
// composes the final matrix. 
MatrixProduct.ComposeResult(); 
} 


///<summary> 
/// Executes the parallel matrix product by decomposing the problem in 
/// independent scalar product between rows and colums. 
///</summary> 
private static void ExecuteThreads() 
{ 
MatrixProduct.workers = newList<Thread>(); 
int rows = MatrixProduct.a.Length; 
/tf in .NET matrices are arrays of arrays and the number of columns is 
// is represented by the length of the second array. 
int columns = MatrixProduct.b[0]}.Length; 
for(int i=0; i<rows; i++) 
for(int j=0; j<columns; j++) 
{ 
double[] row = MatrixProduct.a[i]; 
// because matrices are stored as arrays of arrays in order to 
// to get the columns we need to traverse the array and copy the 
// the data to another array. 
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double[] column = new double [common] ; 
for(int k=0; k<common; k++) 
{ 

column[j] = MatrixProduct.b[j] [i]; 
) 
// Creates a ScalarProduct instance with the previous rows and 
// columns and starts a thread executing the Multiply method. 
ScalarProduct scalar = newScalarProduct (row, column); 
Thread worker = newThread (newThreadStart (scalar.Multiply) ); 
worker.Name =string.Format("{0}.{1}",row,column) ; 
worker.Start(); 
// adds the thread to the dictionary so that it can be 
// further retrieved. 
MatrixProduct .workers.Add(worker, scalar); 


///<summary> 

/// Waits for the completion of all the threads and composes the final 
‘// result matrix. 

///</summary> 

private static void ComposeResult() 


MatrixProduct.c = new double[rows,columns] ; 
foreach (KeyValuePair<Thread, ScalarProduct>pair in MatrixProduct .workers) 
{ 
Thread worker = pair.Key; 
// we have saved the coordinates of each scalar product in the name 
// of the thread now we get them back by parsing the name . 


string[] indices = string.Split(worker.Name, new char[] {'.'}); 
int 1 = int.Parse(indices[0]); 
int j = int.Parse(indices[1]); 


// we wait for the thread to complete 
worker.Join(); 
// we set the result computed at the given coordinates. 
MatrixProduct.c[i,j] = pair.Value.Result; 
} 
MatrixProduct.PrintMatrix(MatrixProduct.c); 
} 
///<summary> 
/// Reads the matrices. 
///</summary> 
private static void ReadMatrices() 
{ 
// code for reading the matrices a and b 
} 
///<summary> 
/// Prints the given matrix. 
///</summary> 
///<param name="matrix">Matrix to print.</param> 
private static void PrintMatrices(double[,] matrix) 
{ 
// code for printing the matrix. 
} 


大 部 分 的 复杂 程序 留 在 线程 的 管理 中 ， 而 域 分 解 是 十 分 简单 的 。 之 前 的 实现 产生 过 几 个 
问题 : 
© 和 矩阵 布局 。 由 于 使 用 多 维度 数组 储存 方式 ， 检 索 标 量 积 的 列 不 像 获 得 行 那 样 简单 。 
一 种 简单 的 解决 办 法 是 将 第 二 个 矩阵 记录 为 列 x 行 的 行 式 ， 而 不 是 行 x 列 。 
o 结果 组 成 。 结 果 的 组 成 在 主线 程 上 完成 ， 且 需要 跟踪 所 有 的 工作 线程 。 保 持 引 用 所 
有 工作 线程 一 般 是 好 的 编程 习惯 ， 因 为 有 必要 在 应 用 完成 之 前 终止 所 有 线程 ， 但 是 
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Ertan FAURA Ae, RA EPRLFREHAREE. MAI 
意味 着 存储 行 与 列 的 索引 信息 ， 以 及 ScalarProduct ¥% FARER HAH. (FARR. 
没有 必要 维护 线程 字典 ， 且 在 主线 程 中 不 需要 ComposeResult 方法 。 
矩阵 积 的 例子 已 作为 描绘 基本 逻辑 的 一 个 模型 ， 这 需要 执行 域 分 解 为 高 度 并 行 问题 并 
在 NET 中 使 用 线程 实现 吞吐 量 计算 。 这 个 例子 可 以 当 作 开 发 更 复杂 的 应 用 程序 的 参考 . 
2. 功能 分 解 
功能 分 解 是 确定 功能 不 同 但 独立 的 计算 的 过 程 。 这 里 的 重点 是 计算 的 类 型 而 不 是 计算 
操作 的 数据 。 这 种 分 解 不 常见 且 不 会 导致 大 量 线 程 ， 因 为 单个 程序 中 执行 不 同 的 计算 会 受 
限制 。 
功能 分 解 促 进 了 独立 任务 单元 中 问题 的 自然 分 解 ， 因 为 这 不 涉及 数据 集 分 割 ， 而 是 由 不 
同 的 逻辑 操作 清晰 定义 的 。 图 6-5 展示 了 分 解 是 如 何 执行 以 及 如 何 并 行 的 。 
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图 6-5 功能 分 解 


正如 图 6-5 所 描述 的 原理 ， 受 功能 分 解 影 响 的 问题 也 可 以 要 求 将 任务 的 每 个 独立 单元 的 
成 果 组 合 在 一 起 构成 一 个 组 成 阶段 。 在 域 分 解 的 情况 下 ， 这 个 阶段 常常 导致 一 个 聚合 过 程 . 
结果 由 哪 种 方式 组 成 ， 很 大 程度 上 取决 于 定义 这 个 问题 的 操作 类 型 . 

接 下 来 ,我们 举 一 个 简单 的 例子 ， 说 明 一 个 数学 问题 如 何 通 过 使 用 分 解 功能 实现 并 行 
化 。 假 设 在 给 定 x SHAR PRES PRA: 

F(x) = sin(x) + cos(x) + tan(x) 

显然 , 一旦 x 值 设 定 ， 三 个 不 同 运 算 可 以 彼此 独立 执行 。 这 是 一 个 功能 分 解 的 例 
子 ， 因 为 整个 问题 可 以 分 解 成 三 个 不 同 的 运算 。 并 行 计算 方法 一 种 可 能 的 实现 如 程序 6-3 
所 示 。 

程序 在 三 个 独立 线程 中 分 别 计算 sine, cosine 和 tangent 函数 然后 合计 结果 。 这 一 实现 
构成 了 在 前 面 样 例 程 序 中 所 讨论 的 替代 技术 的 示例 。 把 一 个 函数 指针 传递 给 每 个 线程 以 便 
可 以 在 计算 结束 时 更 新 最 终结 果 ， 而 非 通过 使 用 一 种 数据 结构 用 于 跟踪 已 创建 的 任务 线程 。 
这 个 技术 引入 了 一 个 同步 问题 ， 该 问题 通过 函数 指针 引用 方法 中 的 lock 语句 得 到 正确 处 理 。 
lock 语句 创建 了 一 个 临界 区 ， 一 次 只 能 被 一 个 线程 访问 且 保 证 最 终结 果 会 及 时 更 新 。 
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程序 6-3 ”数字 函数 


using System; 
using System, Threading; 
using System.Collections.Generic; 


/// <summary> 

/// Delegate UpdateResult. Function pointer that is used to update the final result 
/// Erom the slave threads once the computation is completed. 

/// </summary> 

/// <param name="x">partial value to add.</param> 

public delegate void UpdateResult (double x); 


/// <summary> 
/// Class Sine. Computes the sine of a given value. 
{/// </summary> 
public class Sine 
{ 
/// <summary> 
/// Input value for which the sine function is computed. 
/// </summary> 
private double x; 
/// <summary> 
/// Gets the input value of the sine function. 
/// </summary> 
public double X { get { return this.x; } } 
/// <summary> 
/// Result value. 
/// </summary> 
private double y; 
/// <summary> 
/// Gets the result value of the sine function. 
/// </summary> 
public double Y { get { return this.y; } } 
/// <summary> 
/// Function pointer used to update the result. 
/// </summary> 
private UpdateResult updater; 
/// <summary> 
/// Creates an instance of the Sine and sets the input to the given angle. 
/// </summary> 
/// <param name="x">Angle in radiants.</param> 
/// <param name="updater">Function pointer used to update the result.</param> 
public Sine(double x, UpdateResultupdater) 
{ 
this.x = x} 
this.updater = updater; 
} 
/// <summary> 
/// Executes the sine function. 
/// </summary> 
public void Apply() 
{ 
this.y = Math.Sin(this.x); 
if (this.updater != null) 
{ 
this.updater(this.y); 


///<summary> 

/// Class Cosine. Computes the cosine of a given value. 
///</summary> 

public class Cosine 


{ 
/// <summary> 
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/// Input value for which the cosine function is computed. 
/// </summary> 
private double x; 
/// <summary> 
/// Gets the input value of the cosine function. 
/// </summary> 
public double X { get { return this.x; } } 
/// <summary> 
/// Result value. 
/// </summary> 
private double y; 
/// <summary> 
/// Gets the result value of the cosine function. 
/// </summary> 
public double Y { get { return this.y; } } 
/// <summary> 
/// Function pointer used to update the result. 
/// </summary> 
private UpdateResultupdater; 
/// <summary> 
/// Creates an instance of the Cosine and sets the input to the given angle. 
/// </summary> 
/// <param name="x">Angle in radiants.</param> 
/// <param name="updater">Function pointer used to update the result.</param> 
public Cosine(double x, UpdateResultupdater) 
{ 

this.x = x; 

this.updater = updater; 
} 
/// <summary> 
/// Executes the cosine function. 
/// </summary> 
public void Apply() 
{ 

this.y = Math.Cos(this.x); 

if (this.updater != null) 

{ 

this.updater(this.y); 


///<summary> 

/// Class Tangent. Computes the tangent of a given value. 
///</suammary> 

public class Tangent 

{ 


/// <summary> 

/// Input value for which the tangent function is computed. 
/// </summary> 

private double x; 

/// <summary> 

/// Gets the input value of the tangent function. 
/// </summary> 

public double X { get { return this.x; } } 

/// <summary> 

/// Result value. 

/// </summary> 

private double y; 

/// <summary> 

/// Gets the result value of the tangent function. 
/// </summary> 

public double Y { get { return this.y; } } 

/// <summary> 

/// Function pointer used to update the result. 


/// </summary> 
private UpdateResultupdater; 
/// <summary> 
/// Creates an instance of the Tangent and sets the input to the given angle. 
/// </summary> 
/// <param name="x">Angle in radiants.</param> 
/// <param name="updater">Function pointer used to update the result.</param> 
public Tangent (double x, UpdateResultupdater) 
{ 

this .Xx = x; 

this.updater = updater; 
} 
/// <summary> 
/// Executes the cosine function. 
/// </summary> 
public void Apply() 
{ 

this.y = Math.Tan(this.x); 

if (this.updater != null) 

{ 

this.updater(this.y); 


} 
/// <summary> 
/// Class Program. Computes the function sin(x) + cos(x) + tan(x). 
/// </summary> 
public class Program 
{ 
{/// <summary> 
/// Variable storing the coputed value for the function. 
/// </summary> 
private static double result; 
/// <summary> 
/// Synchronization instance used to avoid keeping track of the threads. 
/// </summary> 
private static object synchRoot = new object (); 
/// <summary> 
/// Read the command line parameters and perform the scalar product. 


/// </summary> 
/// <param name="args">Array strings containing the command line parameters.</param> 
public static void Main(string[] args) 
{ 
// gets a value for x 
double x = 3.4d; 


// creates the function pointer to the update method. 
UpdateResult updater = newUpdateResult (Program.Sum) ; 


// creates the sine thread. 
Sine sine = newSine(x, updater); 
Thread tSine =new Thread (new ThreadStart (sine.Apply); 


// creates the cosine thread. 


Cosine cosine = newCosine(x, updater); 
Thread tCosine =new Thread(new ThreadStart (cosine.Apply) ; 


// creates the tangent thread. 
Tangent tangent = newTangent (x, updater); 
Thread tTangent =new Thread(new ThreadStart (tangent.Apply) ; 


// shuffles the execution order. 
tTangent.Start(); 

tSine.Start(); 

tCosine.Start(); 
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// waits for the completion of the threads. 
tCosine.Join(); 

tTangent.Join(); 

tSine.Join(); 


// the result is available, dumps it to console. 
Console.WriteLine("£({0}): {1}", x, Program.result); 


/77 <summary> 
/// Callback that is executed once the computation in the thread is completed 
/// and adds the partial value passed as a parameter to the result. 
/// </summary> 
/// <param name="partial">Partial value to add.</param> 
private static voidSum(double partial) 
{ 

lock (Program.synchRoot) 

{ 

Program.result += partial; 

} 

} 
} 


3. 计算 与 通信 

在 设计 并 行 和 一 般 分 布 式 应 用 程序 时 ， 仔 细 评 估 问 题 分 解 过 程 中 已 确定 的 组 件 之 间 的 通 
信 模 式 是 十 分 重要 的 。 本 节 介 绍 的 两 种 分 解 方法 以 及 相应 的 示例 应 用 程序 都 基于 组 件 是 独立 
的 这 一 假设 。 这 意味 着 : 

e 一 个 计算 所 需要 的 输入 值 并 不 依赖 于 另 一 个 计算 产生 的 输出 值 。 

© 作为 分 解 结果 而 产生 的 不 同 任务 单元 并 不 需要 彼此 交互 ( 即 数 据 交 换 - 

这 两 个 假设 极 大 地 简化 了 实现 过 程 且 能 够 实现 高 度 并 行 和 高 吞吐 量 。 让 所 有 工作 线程 
成 为 相互 独立 的 操作 系统 (或 虚拟 运行 环境 )， 这 为 调度 程序 中 所 有 线程 提供 了 最 大 的 自由 . 
不 同 线程 之 间 所 需要 的 数据 交换 引入 了 它们 之 间 的 依赖 关系 ， 且 最 终 可 以 导致 性 能 瓶颈 。 比 
如 ， 不 为 线程 引入 任何 队列 技术 ， 但 如 果 在 队列 中 的 一 些 线程 需要 进行 数据 交换 ， 那 么 队列 
线程 有 可 能 构成 执行 应 用 程序 的 一 个 问题 。 更 常见 的 缺点 是 当 一 个 线程 与 另 一 个 线程 交换 数 
据 时 ， 会 使 用 某 种 可 能 导致 阻碍 其 他 线程 执行 的 同步 策略 。 需 要 交换 的 数据 越 多 ， 越 会 阻碍 
线程 同步 ， 最 终 会 影响 整体 的 吞吐 量 。 

作为 经 验 法 则 ， 当 实现 并 行 和 分 布 式 应 用 时 ， 最 小 化 需要 交换 的 数据 量 是 很 重要 的 。 不 
同 线程 之 间 没 有 通信 是 实现 最 高 吞吐 量 的 条 件 。 


6.3 Aneka 多 线程 方式 


由 于 应 用 程序 日 益 复杂 ， 因 此 对 一 台 多 核 计 算 机 所 能 提供 计算 能 力 的 需求 也 变 得 更 大 
了 。 一 台 机 器 的 计算 能 力 一 般 不 能 解决 这 种 需求 ， 所 以 自然 而 然 地 需要 利用 像 云 这 样 的 分 布 
式 基 础 设施 。 分 解 技 术 可 以 应 用 于 将 一 个 给 定 的 应 用 分 割 成 几 个 工作 单元 ， 而 不 是 在 一 个 节 
所 上 以 多 线程 来 运行 ， 于 是 这 个 应 用 就 可 以 利用 云 来 运行 。 

即使 分 布 式 设备 可 以 显著 地 增加 应 用 的 并 行 度 ， 但 它 的 使 用 却 会 在 应 用 设计 和 性 能 方面 
造成 影响 。 例 如 ， 如 果 不 同 的 工作 单元 不 是 运行 在 同一 个 处 理 环 境 中 而 是 在 不 同 的 节点 上 ， 
代码 和 数据 就 需要 移动 到 不 同 的 运行 环境 中 。 同 样 ， 运 行 结 果 也 要 从 远 端 返回 主 进程 。 不 仅 
如 此 ， 如 果 在 不 同 的 工作 单元 之 间 存 在 通信 ， 最 后 就 有 必要 利用 中 间 件 提供 的 API 来 重新 
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设计 通信 模型 。 换 名 话说 ， 这 种 从 单 进程 多 线程 执行 方式 到 分 布 式 执行 方式 的 转变 并 不 简 
单 ， 往 往 需要 应 用 的 重新 设计 与 重新 实现 。 

转变 一 个 应 用 的 代价 一 般 取决 于 管理 分 布 式 基 础 设施 的 中 间 件 提供 的 设施 。Aneka 作为 
一 个 管理 集群 、 网 格 和 云 的 中 间 件 ， 向 开发 者 提供 了 实现 分 布 式 应 用 的 高 级 性 能 。 它 在 传统 
的 线程 编程 上 更 进一步 : 允许 用 户 以 传统 方式 来 编写 多 线程 应 用 ， 同 时 通过 附加 方式 使 得 这 
些 线程 可 以 各 目 脱 离 父 进 程 运 行 于 不 同 的 机 器 上 。 事 实 上 ， 这些“ 线程 ”都 是 在 不 同 节点 上 
执行 的 独立 进程 ， 并 且 不 共用 内 存 和 其 他 资源 ， 但 是 Aneka 允许 用 户 写 出 像 传 统 线程 一 样 
拥有 并 发 和 同步 的 线程 结构 的 线程 应 用 。Aneka 线程 使 用 户 可 以 用 最 小 的 转变 代价 轻松 地 将 
现 有 的 多 线程 的 、 计 算 密 集 的 应 用 转向 可 以 自发 地 利用 多 个 机 器 更 快 地 运行 的 分 布 式 版 本 。 


6.3.1 线程 编程 模型 简介 


Aneka 以 线程 编程 模型 的 方式 提供 了 在 云 上 实现 多 线程 应 用 的 能 力 。 这 个 模型 提出 了 分 
布 式 线 程 的 概念 ， 也 可 以 称 为 Aneka 线程 ，Aneka 线程 模拟 了 本 地 线程 的 行为 ， 但 却 在 分 布 
式 基 础 设施 上 执行 。 线 程 编 程 模 型 能 够 在 分 布 式 基础 设施 上 运行 高 吞吐 量 线程 级 并 行 应 用 ， 
同时 为 高 度 并 行 的 应 用 提供 了 最 佳 环境 。 
如 5.4.1 节 所 述 ， 为 Aneka 设计 的 每 一 个 应 用 都 由 一 个 可 以 和 中 间 件 通信 的 本 地 对 象 表 
示 。 根据 框 以 所 文 持 的 各 种 编程 模型 ， 每 一 个 接口 提供 了 不 同 的 功能 ， 为 了 有 效 地 支持 程序 
的 设计 和 实现 ， 它 们 都 以 一 种 特定 的 编程 方式 进行 了 优化 。 在 线程 编程 模型 的 情况 下 ， 程 序 
被 设计 成 一 个 线程 集合 ， 它 们 的 共同 执行 代表 了 应 用 的 运行 。 线 程 由 应 用 开发 者 来 创建 和 控 
制 ， 一 旦 启动 ，Aneka 将 负责 调度 它们 的 执行 。 开 发 者 通过 本 地 对 象 来 控制 透明 移动 和 远程 
执行 的 线程 ， 这 些 本 地 对 象 就 像 是 远程 线程 的 代理 一 样 。 这 种 方法 使 得 由 本 地 多 线程 应 用 回 
分 布 式 应 用 的 转变 变 得 简单 且 无 缝 。 

线程 编程 模型 的 API 模拟 了 线程 的 .NET 基 类 库 。 通 过 这 种 方法 开发 者 不 需要 完全 重 写 
应 用 即 可 达到 使 用 Aneka 的 目的 。 移 植 本 地 多 线程 应 用 的 过 程 很 简单 ， 只 需要 符 换 System. 
Threading.Thread 类 并 引进 AnekaApplication 类 。 有 三 种 主要 元 素 组 成 了 基于 线程 编程 模型 
的 应 用 程序 对 象 模型 : 
e 应 用 。 这 一 类 代表 了 Aneka 中 间 件 的 接口 并 且 构 成 了 分 布 式 应 用 的 本 地 视图 。 在 
线程 编程 模型 中 ， 单 个 工作 单元 是 由 程序 员 来 创建 的 。 因 此 ， 需 要 使 用 的 特定 类 是 
Aneka.Entity.AnekaApplication<T,M>, T 和 M 应 该 根据 情况 合理 选择 。 
o 线程 。 线 程 表示 模型 的 主要 抽象 并 且 构 成 了 分 布 式 应 用 的 基本 单位 。Aneka 提供 
了 Aneka.Threading.AnekaThread 类 ， 该 类 代表 分 布 式 线程 。 这 个 类 呈现 了 System. 
Threading. Thread 类 所 呈现 的 方法 的 子 集 ， 这 个 子 集 已 经 缩减 为 只 包含 有 意义 的 、 可 
以 有 效 地 在 分 布 式 环境 中 实现 的 操作 和 属性 。 
线程 管理 器 。 线 程 管理 器 是 一 个 用 来 追踪 分 布 式 线程 执行 并 向 应 用 提供 反馈 的 内 
部 组 件 。Aneka 为 这 个 模型 提供 了 一 个 特定 版 本 的 管理 器 ， 它 在 Aneka.Threading. 
ThreadManager 类 中 实现 。 

因此 ， 将 一 个 本 地 多 线程 应 用 移植 到 Aneka 涉及 定义 AnekaApplication<AnekaThread, 
ThreadManager> 类 的 一 个 实例 ， 以 及 用 Aneka.Threading.AnekaThread 蔡 换 所 有 的 System. 
Threading.Thread。 类 似 于 本 地 线程 ， 开 发 者 可 以 创建 线程 ， 控 制 它们 的 生命 周期 ， 并 调整 


它们 的 执行 。 
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Aneka 应 用 还 具有 一 些 其 他 的 附加 属性 ， 例 如 通知 线程 执行 结束 和 失败 、 整 个 应 用 执行 
的 完成 以 及 线程 状态 转变 的 事件 。 这 些 操 作对 于 线程 编程 模型 和 构建 一 些 可 以 用 于 转变 本 地 
多 线程 应 用 的 附加 特征 都 是 可 用 的 。 同 样 ，AnekaApplication 类 提供 了 对 于 文件 的 支持 ， 并 
上 这 些 支持 都 是 透明 、 自 动 地 转移 到 分 布 式 环境 中 的 。 


6.3.2 Aneka 线程 和 普通 线程 


为 了 在 分 布 式 基础 设施 上 高 效 运行 ，Aneka 线程 相对 于 普通 线程 有 一 些 特定 的 限制 。 这 
些 限 制 和 平常 用 于 多 线程 应 用 的 通信 和 和 同步 策略 相关 。 
1. 接口 兼容 性 
Aneka.Threading.AnekaThread 类 除了 不 支持 一 小 部 分 操作 以 外 ， 呈 现 的 接口 和 System. 
Threading.Thread 类 几乎 一 样 。 表 6-1 对 比 了 这 两 个 类 提供 的 操作 。 其 中 定义 的 支持 所 有 线 
程 的 命名 空间 都 是 指 Aneka.Threading 而 不 是 System.Threading 
表 6-1 E API 对 比 


.Net 线程 API Aneka 线程 API 
System. Threading Aneka. Threading 
Thread AnekaThread 
Thread.ManagedThreadild (int) AnekaThread.Id(string) 
Thread.Name AnekaThread. Name 
Thread. ThreadState (ThreadState) AnekaThread. State 
Thread.IsAlive AnekaThread.IsAlive 
Thread. IsRunning AnekaThread.IsRunning 
Thread.IsBackground - AnekaThread.IsBackground | false | 
Thread.Priority AnekaThread.Priority [ ThreadPriority.Normal ] 
Thread.IsThreadPoolThread AnekaThread.IsThreadPoo!Thread | false | 
Thread. Start AnekaThread.Start . 
Thread.Abort AnekaThread. Abort 
Thread.Sleep 未 提供 
Thread.Interrupt 未 提供 
Thread.Suspend 未 提供 
Thread.Resume 未 提供 
Thread.Join AnekaThread.Join 


对 于 本 地 线程 来 说 ， 像 开始 和 中 止 这 样 的 基本 操作 都 有 一 个 直接 映射 ， 然 而 却 不 支持 一 
些 涉及 线程 执行 的 临时 中 断 操 作 。 这 种 设计 策略 的 原因 有 两 个 方面 。 首 先 ， 即 使 对 于 本 地 
线程 ， 使 用 暂停 / 恢复 操作 也 并 不 是 一 个 好 的 选择 ， 因 为 暂停 操作 会 毫 无 征兆 地 中 断 线 程 的 
执行 状态 。 其 次 ， 在 分 布 式 环境 中 发 生 线程 的 暂停 会 导致 对 基础 设施 的 低 效 使 用 ， 而 在 基础 
设施 中 资源 是 被 不 同 的 用 户 和 应 用 所 共享 的 。 这 也 是 不 支持 睡眠 操作 的 原因 。 因 此 ， 没 有 必 
要 支持 会 强力 地 将 线程 从 等 待 或 睡眠 状态 恢复 的 中 断 操 作 。 为 了 支持 线程 之 间 的 同步 操作 ， 
Aneka 提供 了 一 个 相应 的 连接 操作 的 实现 。 

除了 这 些 基本 的 线程 控制 操作 之 外 ， 一 些 最 相关 的 属性 也 已 实现 ， 例 如 名 字 、 特 定 标识 
符 和 状态 。 名 字 是 自由 分 配 的 ， 标 识 符 是 由 Aneka 生成 的 ， 用 一 个 字符 串 而 不 是 整 型 变量 
来 代表 一 个 全 局 的 唯一 标识 符 。IsBackground、Priority 和 IsThreadPoolThread 等 属性 只 是 为 
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了 接口 的 兼容 性 而 被 支持 ， 它 们 对 于 线程 调度 没有 什么 实际 作用 ， 始 终 用 来 显示 表 中 的 一 些 
值 。 其 他 和 线程 状态 有 关 的 属性 ， 比 如 IsAlive 和 IsRunning， 显 示 了 线程 预期 的 行为 ， 然 而 
相对 于 State 属性 的 ThreadState 属性 实现 了 一 个 略 有 不 同 的 行为 。System.Threading.Thread 
K (.NET 2.0) 中 的 其 余 方 法 不 被 文 持 。 

最 后 ， 要 注意 线程 创建 的 差异 是 非常 重要 的 。 本 地 隐 式 线程 属于 主 进程 ， 它 们 的 行动 范 
围 限 制 在 进程 内 。 创 建 本 地 线程 只 需要 提供 一 个 指针 ， 这 个 指针 指 回 一 个 以 ThreadStart 或 
者 ParameterizedThreadStart 代理 的 形式 来 执行 的 方法 。Aneka 线程 存在 于 分 布 式 应 用 的 上 下 
文中 ， 多 重 分 布 式 应 用 可 以 由 一 个 单独 进程 来 管理 。 基 于 这 个 原因 ， 创 建 线程 时 应 当 指定 其 
属于 哪个 应 用 。 

Aneka 线程 API 和 基 类 库 之 间 的 接口 兼容 性 使 得 对 于 大 部 分 本 地 多 线程 应 用 来 说 ， 
简单 地 替换 类 名 并 修改 线程 构造 函数 就 可 以 快速 地 完成 各 Aneka 的 移植 。 

2. 线程 生存 周期 

因为 Aneka 线程 是 在 分 布 式 环境 中 生存 和 执行 的 ， 所 以 它们 的 生存 周期 和 本 地 线程 必 
钛 是 不 同 的 ， 不 可 能 将 本 地 线程 的 状态 值 直 接 映射 到 Aneka 线程 上 。 图 6-6 对 两 者 的 生命 周 
期 进行 了 比较 。 





a) System. Threading: Thread 生命 周期 b) Aneka.Threading.AnekaThread 生命 周期 
图 6-6 ”线程 生命 周期 比较 


图 6-6 中 的 白 球 说 明 这 个 状态 在 其 他 生命 周期 中 并 无 映射 ， 黑 球 说 明 存在 相同 的 状态 。 
除 此 之 外 ， 在 本 地 线程 中 大 部 分 的 状态 转变 都 是 由 开发 者 控制 的 ， 开 发 者 可 以 通过 调用 线程 
实例 中 的 方法 来 触发 状态 转变 ， 然 而 在 Aneka 线程 中 ， 很 多 状态 转变 是 由 中 间 件 来 控制 的 。 192 
如 图 6-6 所 示 ，Aneka 线程 显示 了 比 本 地 线程 更 多 的 状态 ， 因 为 Aneka 线程 支持 由 中 间 件 调 
度 的 文件 暂 存 ， 中 间 件 可 以 让 它们 排队 等 候 相当 一 段 时 间 。 由 于 Aneka 支持 为 一 个 特定 应 
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用 的 线程 执行 预约 节点 ， 因 此 引入 了 一 个 指示 因 预 约 失败 而 造成 的 执行 失败 的 显 式 状 态 。 这 
种 情况 在 线程 被 送 入 执行 节点 时 会 发 生 ， 此 时 节点 需要 特定 的 预约 证 明 才 可 以 执行 线程 。 

一 个 Aneka 线程 最 初 以 未 开始 状态 创建 。 一 旦 Start) 状态 被 调用 ， 线 程 就 转变 到 开始 
状态 ， 在 开始 状态 下 ， 线 程 要 么 直接 转换 到 排队 状态 ， 要 么 在 需要 为 其 执行 上 传 文件 的 情况 
下 转变 成 存 人 状态 。 如 果 在 上 传 文件 时 发 生 错 误 ， 那 么 线程 以 失败 状态 终止 执行 ， 失 败 也 可 
能 在 触发 Started() 时 因 意 外 情况 而 发 生 。 

另 一 种 可 能 转 到 拒绝 状态 的 情况 是 线程 获得 了 一 个 无 效 的 预约 。 拒 绝 是 一 个 最 终 的 状 
态 ， 它 说 明 线 程 因 权限 不 足 而 执行 失败 。 一 旦 线程 位 于 队列 中 ， 如 果 存 在 一 个 可 以 执行 它 的 
自由 节点 ， 中 间 件 就 把 所 有 对 象 数 据 和 相关 文件 移动 到 远程 节点 并 开始 执行 ， 这 样 就 切换 到 
运行 状态 。 如 果 线 程 发 生 异 常 或 者 没有 得 到 预期 结果 ， 线 程 的 执行 就 被 认为 是 失败 的 并 且 最 
终 状 态 被 设置 为 失败 。 如 果 执 行 成 功 ， 最 终 状 态 将 是 完成 。 如 果 有 输出 文件 需要 取 回 ， 线 
程 状态 变 为 读 出 ， 同 时 文件 被 收集 起 来 送 往 它 们 的 最 终 目标 ， 然 后 再 转变 为 完成 状态 。 在 
任何 时 候 ， 如 果 开 发 者 停止 应 用 执行 或 者 直接 调用 Abot) 方法 ， 线 程 、 并 以 中 止 为 最 终 
状态 。 

在 大 多 数 情 况 下 ，Aneka 线程 一 般 的 状态 变化 过 程 和 本 地 线程 一 样 : 未 开始 一 开始 一 排 
队 一 运行 一 完成 / 中止/ 失败 。 

3. 线程 同步 

NET 基 类 库 以 监视 器 、 信 号 量 和 读 写 锁 的 方式 提供 高 级 设施 来 支持 线程 同步 ， 基 本 的 
同步 是 基于 语言 级 的 ，Aneka 为 仅 限 于 实现 的 线程 抽象 中 的 连接 操作 的 线程 同步 提供 了 最 小 
支持 。.NET 框架 提供 的 大 部 分 结构 和 类 用 于 提供 对 不 同 线程 间 的 共享 数据 的 可 控 访 问 权 来 
保护 它们 的 完整 性 。 这 种 约束 在 分 布 式 环境 中 要 稍微 宽松 一 点 ， 因 为 在 线程 实例 间 没 有 共享 
存储 。 不 仅 如 此 ， 将 本 地 多 线程 应 用 转换 成 Aneka 隐 式 线程 的 理由 ， 还 包含 了 对 可 执行 大 
量 线 程 的 分 布 式 设施 的 需求 ， 这 些 线程 可 能 不 是 全 部 在 同一 时 间 执 行 。 在 这 样 的 环境 中 提供 
同步 锁 机 制 的 协调 设施 可 能 会 导致 难以 检测 的 分 布 式 死 锁 。 因 此 ，Aneka 线程 在 执行 线程 间 
没有 特别 设置 任何 同步 设施 ， 只 是 简单 地 实现 了 一 个 连接 操作 。 

4. 线程 优先 级 

System.Threading.Thread 类 支持 线程 优先 级 机 制 ， 这 意味 着 调度 的 优先 级 可 以 在 
ThreadPriority 的 以 下 枚 举 集中 选择 任意 一 个 值 : 最 高 、 高 于 正常 、 正 常 、 低 于 正常 和 最 低 。 
然而 ， 并 没有 要 求 操作 系统 承认 一 个 线程 的 优先 级 ， 当 前 版 本 的 Aneka 也 并 不 支持 线程 优 
先 级 机 制 。 为 了 接口 的 兼容 性 ，Aneka.Threading.Thread 类 带 有 一 个 类 型 为 ThreadPriority 的 
Priority 属性 ， 其 值 一 般 设 为 正常 ， 对 它 做 出 的 改变 不 会 对 Aneka 中 间 件 的 线程 调度 产生 任 
何 影响 。 

5. 类 型 序列 化 

因为 Aneka 线程 在 分 布 式 环境 中 执行 ， 所 以 以 库 形 式 存在 的 对 象 代码 和 实例 是 通过 网 
络 传递 的 。 这 个 条 件 给 NET 框架 中 最 受 关注 的 序列 化 类 型 强制 增加 了 一 些 限制 。 

本 地 线程 都 在 同一 个 地 址 空间 和 共享 内 存 中 执行 ， 因 此 ， 它 们 不 需要 对 象 复制 或 移动 到 
一 个 不 同 的 地 址 空间 中 。Aneka 线程 是 分 布 式 的 并 且 在 远程 的 计算 节点 上 执行 的 ， 这 意味 着 
将 要 执行 的 方法 相关 的 对 象 代 码 需 要 通过 网 络 传递 。 既 然 代理 可 以 指向 实例 的 方法 ， 那 么 封 


闭 对 象 的 状态 需要 在 远程 执行 环境 中 传递 和 重 构 。 这 属于 类 级 别 上 的 特定 功能 ， 术 语 称 为 类 
型 序列 化 。 


如 果 一 个 .NET 类 型 可 以 将 它 的 实例 类 型 转换 成 一 个 二 进 制 阵列 ， 且 阵列 中 包含 了 将 其 
从 原始 形式 转换 到 一 个 完全 不 同 的 执行 上 下 文 所 需 的 所 有 信息 ， 就 称 它 是 序列 化 的 。 这 个 特 
任 一 般 在 .NET 框架 中 的 几 个 类 型 定义 中 被 指明 为 序列 化 属性 。 如 果 一 个 类 显示 了 一 个 特定 
AY FFE SS. NET 框架 会 自动 给 那 种 类 型 的 实例 提供 序列 化 和 反 序 列 化 的 设施 。 或 者 说 ， 对 
于 用 户 定义 的 任何 类 型 可 以 实现 自 定义 序列 化 。 | 

Aneka 线程 执行 以 序列 化 的 类 型 来 定义 的 方法 ， 因 为 它 必 须 将 封闭 实例 转移 到 远程 的 执 
TAR. 在 大 多 数 情况 下 ， 提 供 可 序列 化 功能 就 像 在 类 定义 中 直接 加 上 序列 化 属性 一 样 简 
RA. 其 他 的 情况 下 ， 可 能 需要 实现 ISerialization 接口 并 为 该 类 型 提供 构造 函数 。 这 并 不 是 一 
个 很 严格 的 限制 ， 因 为 只 有 非常 少数 的 类 不 可 以 定义 为 可 序列 化 的 。 例 如 ， 本 地 线程 、 网 络 
连接 和 流 是 不 可 以 序列 化 的 ， 因 为 它们 是 直接 访问 本 地 资源 的 ， 而 这 些 资源 不 可 隐 式 移动 到 
不 同 的 节点 上 


6.4 Aneka 线程 编程 应 用 


为 了 证 明快 速 地 将 普通 多 线程 转换 成 Aneka 线程 是 可 能 的 ， 我们 提供 了 前 面 讨论 过 的 
本 地 线程 实例 的 一 个 分 布 式 实现 。 


6.4.1 Aneka 线程 应 用 模型 


线程 编程 模型 是 程序 员 可 以 在 其 中 创建 以 Aneka 线程 为 工作 单位 的 编程 模型 。 因 此 ， 
需要 使 用 AnekaApplication<W,M> 类 ， 这 个 类 是 所 有 此 类 编程 模型 的 应 用 参考 类 。Aneka 的 
API 充分 利用 了 泛 型 并 且 通 过 模板 特 化 显示 了 对 不 同 编程 模型 的 支持 。 因 此 ， 如 果 想 要 利用 
Aneka 线程 来 开发 分 布 式 应 用 程序 ， 有 必要 依据 以 下 方式 来 特 化 模板 类 型 : 


AnekaApplication<AnekaThread, ThreadManager> 

这 就 是 所 有 使 用 线程 编程 模型 的 分 布 式 应 用 的 类 的 类 型 。 这 两 个 类 型 是 在 Aneka SDK 
的 Aneka.Threading.dll 库 中 的 Aneka.Threading 命名 空间 中 定义 的 。 

另 一 个 应 用 模型 的 重要 组 件 是 Configuration 类 ， 该 类 是 在 Aneka.Entity ( Aneka.dll) 命 
名 空间 中 定义 的 。 这 个 类 中 包含 一 个 属性 集 ， 这 个 属性 集 允 许 应 用 类 来 配置 它 和 中 间 件 的 交 
互 。 例 如 组 成 了 Aneka 云 主 要 入 口 点 的 Aneka 索引 服务 的 地 址 ， 需 要 通过 中 间 件 验证 的 应 
用 程序 的 用 户 证 书 ， 一 些 附 加 的 调节 参数 ， 以 及 一 个 可 能 会 向 中 间 件 传达 附加 信息 的 属性 扩 
展 集 。 程 序 6-4 中 的 代码 演示 了 如 何 创建 一 个 简单 的 应 用 实例 并 且 配 置 它 与 索引 服务 在 本 地 
的 Aneka 云 进 行 连接 。 


程序 6-4 ”应 用 创建 和 配置 


namespaces containing types of common use 
using System; 
using System.Collections.Generic; 
common Aneka namespaces. 
using Aneka; 
using Aneka.Util; 
using Anexa.Entity; 
/ Aneka Thread Programming Model user classes 
uSing Aneka.Threading; 


J 
eee 


(/// <summary> 
// (Creates an instance of the Aneka Application configured to use the 
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/// Thread Programming Model. 
/// </summary> 
/// <returns>Application instance.</returns> 
private AnekaApplication<AnekaThread,ThreadManager> CreateApplication() ; 
{ 
Configuration conf =new Configuration () ; 
// this is the common address and port of a local installation 
// of the Aneka Cloud. 
conf.SchedulerUri = newUri("tcp://localhost:9090/Aneka") ; 
conf.Credentials =newUserCredentials("Administrator", string.Empty) ; 
// we will not need support for file transfer, hence we optimize the 
// application in order to not require any file transfer service. i 
conf.UseFileTransfer = false; 
// we do not need any other configuration setting 


// we create the application instance and configure it. 
AnekaApplication<AnekaThread, ThreadManager> app = 

new AnekaApplication<AnekaThread, ThreadManager>(conf) ; 
return app; 





一 旦 创建 应 用 ， 就 可 以 通过 指定 程序 的 引用 和 各 线程 执行 的 方法 来 创建 线程 ， 对 于 应 
用 执行 的 管理 主要 集中 在 对 各 个 线程 实例 执行 的 控制 。 程 序 6-5 提供 了 一 个 关于 如 何 创 建 
Aneka 线程 的 简单 例子 。 


程序 6-5 ”线程 创建 和 执行 


// mmm Continues from the previous listing 
///<summary> 
///Thread worker method (implementation skipped). 
///</summary> 
private void WorkerMethod() 
{ 
VE Satisi 
} 
///<summary> 
///Creates a collection of threads that are executed in the context of the 
/// the given application. 
///</summary> 
/// <param name="app">>Application instance.</param> 
private void CreateThreads (AnekaApp]ication<AnekaThread, ThreadManager> app) ; 


{ 
// creates a delegate to the method to execute inside the threads. 
ThreadStart worker = newThreadStart (this.WorkerMethod) ; 
// iterates over a loop and creates ten threads. 
for(int i=0; i<10; i++) 
{ 
AnekaThread thread = new AnekaThread (worker, app) ; 
thread.Start(); 
} 
} 


a ee 
其 余 与 线程 实例 管理 相关 的 操作 类 似 于 之 前 讨论 的 本 地 多 线程 应 用 。 


6.4.2 域 分 解 ， 矩阵 乘法 


为 了 将 多 线程 的 矩阵 乘法 转换 成 Aneka 线程 ， 需要 应 用 到 前 面 章节 的 内 容 。 因 此 ， 首 
先 通过 适当 改变 ScalarProduct 类 来 回顾 一 下 代码 。 程 序 6-6 展示 了 ScalarProduct 的 一 个 修 
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改过 的 版 本 。 
程序 6-6 ScalarProduct 类 (修改 过 的 版 本 ) 


using System.Runtime.Serialization; 


/ <summary> 
Class ScalarProduct. Computes the scalar product between the row and the column 
arrays. The class uses custom serialization. In order to do so it implements the 
the ISerializable interface. 

///</summary> 

[Serializable] 

public class ScalarProduct : ISerializable 

<summary> 

Scalar product. 

</summary> 
private double result; 

<summary> 

Gets the resulting scalar product. 

</Summary> i 
public double Result(get { returnthis.result; }} 


rays containing the elements of the row and the column to multiply. 
</summary> 
private double[] row, column; 


<summary> 
Creates an instance of the ScalarProduct class and configures it with the given 
row and column arrays. 
</summary> 
<param name="*row">Array with the elements of the row to be multiplied.</param> 
<param name=*column*>Array with the elements of the column to be multiplied. 
</param> 

public ScalarProduct(double[] row, double[] column) 


} 


/// <summary> 
/// Deserialization constructor used by the .NET runtime to recreate instances of 


/// of types implementing custom serialization. 

/// </summary> 

/// <param name="info">Bag containing the serialized data instance.</param> 
/// <param name="context">Serialization context (not used) .</param> 

public ScalarProduct (SerializationInfo info, StreamingContext context) 


{ 
this.result = info.GetDouble("result"); 
this.row = info.GetValue("row", typeof(double[])) as double[]; 
this.column = info.GetValue("column", typeof(double[])) as double[]; 
} 


/// <summary> 
/// Executes the scalar product between the row and the colum. 
/// </summary> 
/// <param name=*row’>Array with the elements of the row to be multiplied.</param> 
/// <param name="*column*>Array with the elements of the column to be multiplied. 
/// </param> 
public void Multiply() 
{ 
this.result = 0; 
for(int i=0; i<this.row.Length; i++) 
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this.result += this.row[i] * this.column[i]; 


} 
/// <summary> 
/// Serialization method used by the .NET runtime to serialize instances of 
/// of types implementing custom serialization. 
/// </summary> 
/// <param name="info">Bag containing the serialized data instance.</param> 
/// <param name="context">Serialization context (not used) .</param> 
public ScalarProduct(SerializationInfo info, StreamingContext context) 
{ 
this.result = info.GetDouble("result"); 
this.row = info.GetValue("row", typeof(double[])) as double[]; 
this.column = info.GetValue("column", typeof(double[])) as double[]; 
} 
/// <summary> 
/// Executes the scalar product between the row and the colum. 
/// </summary> 
/// <param name="row">Array with the elements of the row to be multiplied.</param> 
/// <param name="column">Array with the elements of the column to be multiplied. 
/// </param> 
public void Multiply() 
{ 
this.result = 0; 
for(int i=0; i<this.row.Length; i++) 
{ 
this.result += this.row[i] * this.column[i]; 
} 
} 
/// <summary> 
/// Serialization method used by the .NET runtime to serialize instances of 
/// of types implementing custom serialization. 
/// </summary> 
/// <param name="info">Bag containing the serialized data instance.</param> 
/// <param name="context">Serialization context (not used) .</param> 
public void GetObjectData(SerializationInfo info, StreamingContext context) 
{ 
info.AddValue("result",this.result) ; 
info.AddValue("row", this.row, typeof (double[])); 
info.AddValue("column", this.column, typeof (double[])); 


这 个 类 已 经 被 标注 了 序列 化 属性 ， 同 时 用 实现 定制 序列 化 所 需要 的 方法 进行 了 扩展 。 支 
持 定制 序列 化 意味 着 : 

e 包括 System.Runtime.Serialization 命名 空间 。 

e 实现 了 ISerializable 接口 。 这 个 接口 只 有 一 个 void GetObjectData (SerializationInfo,St 

reamingContext) 方法 ， 在 运行 时 需要 序列 化 实例 时 调用 它 。 
e 提供 一 个 名 为 ScalarProduct ( SerializationInfo，StreamContext) 的 构造 函数 ， 这 个 构 
造 限 数 会 在 实例 并 行 化 时 调用 。 

SerializationInfo 类 有 一 个 中 心 角色 ， 这 个 角色 提供 了 一 个 仓库 ， 用 来 存放 定义 一 个 类 
的 所 有 序列 化 格式 的 属性 ， 这 些 属性 可 以 通过 名 字 来 存储 并 索引 。 通 过 框架 提供 的 默认 序列 
化 方法 ， 对 类 的 布局 可 能 产生 的 影响 最 小 。 为 了 利用 这 个 功能 ， 有 必要 使 得 一 个 实例 定义 状 
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仿 的 所 有 属性 可 以 通过 get 和 set 两 种 方法 进行 访问 。 在 这 种 情况 下 ， 可 以 简单 地 将 一 个 类 
标记 为 可 序列 化 的 ， 因 为 组 成 这 个 实例 的 状态 的 所 有 字段 都 是 可 以 序列 化 的 。 可 以 这 么 理 
解 ， 除 了 序列 化 之 外 ， 没 有 必要 对 类 的 运行 方式 做 出 任何 改变 。 

第 二 步 是 利用 Aneka 线程 改变 MatrixProduct 类 。 首 先 应 当 创建 一 个 配置 合理 的 应 用 ， 然 
后 在 System.Treading.Thread 类 出 现 的 地 方 用 Aneka.Threading.Thread 来 代替 ( 见 程序 6-7). 


程序 6-7 MatrixProduct 类 (修改 过 的 版 本 ) 


using System; 

// we do not anymore need the reference to the threading namespace. 
// using System. Threading; 

using System.Collections.Generic; 


// reference to the Aneka namespaces of interest. 
// common Aneka namespaces. ` 

using Aneka; 

using Aneka.Util; 

using Aneka.Entity; 

// Aneka Thread Programming Model user classes 
using Aneka.Threading; 


<summary> 
// Class MatrixProduct. Performs the matrix product of two matrices. 
</summary> 
public class MatrixProduct 


/// <summary> 
' First and second matrix of the produt. 

/// </summary> 

private static double[,Ja, b; 

/// <summary> 

/// Result matrix. 

/// </summary> 

private static double[,] c; 

///<summary> 

/// Dictionary mapping the thread instances to the corresponding ScalarProduct 

///instances that are run inside.The occurrence of the Thread class has been 

///substituted with AnekaThread. 

///</summary> 

private static IDictionary<AnekaThread, ScalarProduct> workers. 

/// <summary> 

/// Reference to the distributed application the threads belong to. 

/// </summary> 

private static AnekaApplication<AnekaThread, ThreadManager> app; 


/// <summary> 
/// Read the command line parameters and perform the scalar product. 


/// </summary> 
/// <param name="args">Array strings containing the command line parameters.</param> 
public static void Main(string[] args) 
{ 
try 
{ 
// activates the logging facility. 
Logger.Start(); 


// creates the Aneka application instance. 
MatrixProduct.app =Program.CreateApplication(); 


// reads the input matrices a and b. 
MatrixProduct.ReadMatrices(); 

// executes the parallel matrix product. 
MatrixProduct.ExecuteProudct (); 

// waits for all the threads to complete and 
// composes the final matrix. 
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MatrixProduct.ComposeResult(); 


} 


catch (Exception ex) 


{ 
IOUtil.DumpErrorReport (ex, "Matrix Multiplication - Error executing " + 


"the application"); 
} 
finally 
{ 
try 
{ 
// checks whether the application instance has been created 


// stops it. 

if (MatrixProduct.app != null) 

{ l 
MatrixProduct.app.Stop(); 


} 
catch(Exception ex) 
{ 
TOUtil.DumpErrorReport(ex, "Matrix Multiplication - Error stopping " + 
"the application"); 
} 
// stops the logging thread. 
Logger.Stop(); 


<summary> 

Executes the parallel matrix product by decomposing the problem in 
independent scalar product between rows and colums. 

</summary> 


private static void ExecuteThreads() 


{ 


// we replace the Thread class with AnekaThread. 
MatrixProduct.workers = new Dictionary<AnekaThread, ScalarProduct>(); 
int rows = MatrixProduct.a.Length; 

// in .NET matrices are arrays of arrays and the number of columns is 
// is represented by the length of the second array. 

int columns = MatrixProduct.b[0].Length; 


for(int i=0; i<rows; i++) 
for(int j=0; j<columns; j++) 
{ 
double[] row = MatrixProduct.a[i]; 
// beacause matrices are stored as arrays of arrays in order to 
// to get the columns we need to traverse the array and copy the 
// the data to another array. 
double[] column = new double [common]; 
for(int k=0; k<common; k++) 
{ 
column [jj = MatrixProduct.b[j] [i]; 
} 
// creates a ScalarProduct instance with the previous rows and 
// columns and starts a thread executing the Multiply method. 
ScalarProduct scalar = newScalarProduct (row, column); 
// we change the System.Threading.Thread class with the corresponding 


// Aneka.Threading.AnekaThread class and reference the application instance. 


AnekaThread worker = newAnekaThread (newThreadStart (scalar.Multiply), app); 
worker.Name =Sstring.FPormat("({0}.{1}",row,column) ; 

worker.Start(); 

// adds the thread to the dictionary so that it can be 

// further retrieved. 

MatrixProduct.workers.Add(worker, scalar); 


f/f 
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<summary> 
Waits for the completion of all the threads and composes the final 
result matrix. 

</summary> 


private static void ComposeResult() 


MatrixProduct.c = new double[rows,columns]; 


// we replace the Thread class with AnekaThread. 
foreach (KeyValuePair<AnekaThread, ScalarProduct>pair in MatrixProduct.workers) 


{ 


AnekaThread worker = pair.Key; 
// we have saved the coordinates of each scalar product in the name 
of the thread now we get them back by parsing the name. 


String[] indices = string.Split(worker.Name, new char[] {’.‘}); 
int i = int.Parse(indices([0]); 
int j = int.Parse(indices([1]); 


// we wait for the thread to complete 

worker.Join(); 

// instead of using the local value of the ScalarProduct instance 
// we use the one that has is stored in the Target property. 

// MatrixProduct.c[{i,j] = pair.Value.Result; 

MatrixProduct.c[i,j] = ((ScalarProduct) worker.Target).Result; 


MatrixProduct.PrintMatrix(MatrixProduct.c); 


ie A 


| ae 


priv 


{ 
1 


<summary> 
Reads the matrices. 

/summary> 
ate static void ReadMatrices() 


// code for reading the matrices a and b 


f f f 
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<summary> 
Prints the given matrix. 

</summary> 

<param name=“matrix">Matrix to print.</param> 


private static voidPrintMatrices(double[,] matrix) 


f 
\ 


// 


} 

PEI 
STE 
/// 
/// 
/// 


code for printing the matrix. 


<summary> 
Creates an instance of the Aneka Application configured to use the 


Thread Programming Model. 
</summary> 
<returns>Application instance.</returns> 


private AnekaApplication<AnekaThread, ThreadManager> CreateApplication(); 


{ 


Configuration conf =new Configuration(); 

// this is the common address and port of a local installation 

// of the Aneka Cloud. 

conf.SchedulerUri = newUri("tcp://localhost:9090/Aneka") ; 
conf.Credentials =newUserCredentials("Administrator", string.Empty); 
// we will not need support for file transfer, hence we optimize the 
// application in order to not require any file transfer service. 
conf.UseFileTransfer = false; 

// we do not need any other configuration setting 


// we create the application instance and configure it. 


AnekaApplication<AnekaThread, ThreadManager> app = 
new AnekaApplication<AnekaThread, whresdmanagers (cont), 


return app; 
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如 程序 6-7 所 示 ， 需 要 对 程序 逻辑 做 出 的 改变 是 最 小 的 ， 大 部 分 的 修改 是 有 关 异 稍 管 理 
和 Aneka 记录 设施 的 合理 使 用 。MatrixProduct 类 集成 了 之 前 章节 讨论 过 的 应 用 创建 和 设置 
相关 的 方法 ， 引 入 了 一 个 try...catch...finally 块 来 处 理应 用 执行 时 发 生 的 异常 。 除 了 重 命名 
Thread 类 的 地 方 以 外 ， 人 代码 的 其 余部 分 是 不 需要 改变 的 。 

只 有 一 个 需要 注意 的 重要 改变 : 一 旦 Aneka 线程 实例 完成 ， 对 包含 远程 执行 方法 的 对 象 
更 新 后 的 引用 由 AnekaThread.Target 属性 显示 ， 而 不 是 由 引用 最 初 用 于 创建 委托 的 对 象 的 局 
部 变量 来 显示 。 


6.4.3 功能 分 解 : Sine, Cosine, Tangent 


将 此 例子 移植 到 Aneka 线程 所 要 做 出 的 改变 和 之 前 讨论 的 例子 基本 一 样 。 在 这 个 例子 
中 只 有 一 个 显著 的 不 同 点 : 各 个 线程 都 有 一 个 指向 委托 的 引用 ， 用 来 在 计算 结束 时 更 新 全 局 
的 和 。 因 为 我 们 是 在 分 布 式 环境 中 操作 的 ， 所 以 对 象 操 作 的 实例 并 不 是 线程 共享 的 ， 但 是 各 
个 线程 实例 有 目 己 的 本 地 副本 。 这 样 就 阻止 了 在 主线 程 中 更 新 全 局 的 和 ， 并 且 需 要 对 应 用 的 
更 新 策略 做 出 调整 。 

这 个 例子 还 阐述 了 如 何 修 改 Sine, Cosine, Tangent 类 ， 以 便 让 它们 利用 框架 默认 的 序 
列 化 功能 ILF 6-8 )。 


程序 6-8 ”数学 函数 (修改 过 的 版 本 ) 


using System; 

// we do not anymore need the reference to the threading namespace. 
// using System. Threading; 

using System.Collections.Generic; 


// reference to the Aneka namespaces of interest. 
// common Aneka namespaces. 

using Aneka; 

using Aneka.Util; 

using Aneka.Entity; 

// Aneka Thread Programming Model user classes 
using Aneka. Threading; 


// this is not needed anymore. 

// /// <summary> 

// /// Delegate UpdateResult. Function pointer that is used to update the final result 
// /// from the slave threads once the computation is completed. 

// /// </summary> 

// /// <param name="x">partial value to add.</param> 

// public delegate void UpdateResult (double x); 


/// <summary> 
/// Class Sine. Computes the sine of a given value. 
/// </summary> 
[Serializable] 
public class Sine 
{ 
/// <summary> 
/// Input value for which the sine function is computed, 
/// </summary> 
private double x; 
/// <summary> 
/// Gets or sets the input value of the sine function. 
/// </summary> 
public double X { get { return this.x; } set { this.x = value; } } 
/// <summary> 
/// Result value. 
/// </summary> 
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private double y; 
/// <summary> 
‘/ Gets or sets the result value of the sine function. 
// </summary> 
public double Y { get { return this.y; } set { this.y = value; } } 
// we can't use this anymore. 
// /// <summary> 
// /// Function pointer used to update the result. 
// /// </summary> 
// private UpdateResult updater; 


// we need a default constructor, which is automatically provided by the compiler 
// if we do not specify any constructor. 

// /// <summary> 

// /// Creates an instance of the Sine and sets the input to the given angle. 

// /// </summary> 

// /// <param name="x">Angle in radiants.</param> 

// /// <param name="updater">Funct ion pointer used to update the result.</param> 


// public Sine(double x, UpdateResult updater) 


i A 
// this.x = x; 
// this.updater = updater; 


FF 2 
/// <summary> 
Executes the sine function. 
</summary> 
public void Apply() 
{ 
this.y = Math.Sin(this.x); 
// we cannot use this anymore because there is no 
// shared memory space. 
// if (this.updater != null) 
ff t 
/i this.updater(this.y); 
// } 


//<summary> 
// Class Cosine. Computes the cosine of a given value. The same changes have been 


'/ applied by removing the code not needed anymore rather than commenting it out. 
j f</Summary> 
[Serializable] 
public class Cosine 
{ 
//f/ <summary> 
/// Input value for which the cosine function is computed. 
/// </summary> 
private double x; 
/// <summary> 
/// Gets or sets the input value of the cosine function. 
/// </summary> 
public double X { get { return this.x; } set { this.x = value; } } 
/// <summary> 
/// Result value. 
/// </summary> 
private double y; 
/// <summary> 
/// Gets or sets the result value of the cosine function. 
/// </summary> 
public double Y { get { return this.y; } set { this.y = value; } } 
/// <summary> 
/// Executes the cosine function. 
/// </summary> 
public voidApply () 
{ 
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this.y = Math.Cos (this.x); 


///<summary> 

/// Class Cosine. Computes the cosine of a given value. The same changes have been 
/// applied by removing the code not needed anymore rather than commenting it out. 
///</summary> 

[Serializable] 


public class Tangent 

{ 
/// <summary> 
/// Input value for which the tangent function is computed. 
/// </summary> 
private double x; 
/// <summary> 
/// Gets or sets the input value of the tangent function. 
/// </summary> 
public double X { get { return this.x; } set { this.x = value; } } 
/// <summary> 
/// Result value. 
/// </summary> 
private double y; 
/// <summary> 
/// Gets or sets the result value of the tangent function. 
/// </summary> 
public double Y { get { return this.y; } set { this.y = value; } } 
/// <summary> 
/// Executes the tangent function. 
,/// </summary> 
public voidApply () 
{ 

this.y = Math.Cos(this.x); 


///<summary> 
/// Class Cosine. Computes the cosine of a given value. The same changes have been 
/// applied by removing the code not needed anymore rather than commenting it out. 
///</summary> 
[Serializable] 
public class Tangent 
{ 
/// <summary> 
/// Input value for which the tangent function is computed. 
/// </summary> l 
private double x; 
/// <summary> 
/// Gets or sets the input value of the tangent function. 
/// </summary> 
public double X { get { return this.x; } set { this.x = value; } } 
/// <summary> 
/// Result value. 
/// </summary> 
private double y; 
/// <summary> 
/// Gets or sets the result value of the tangent function. 
/// </summary> 
public double Y { get { return this.y; } set { this.y = value; } } 
/// <summary> 
/// Executes the tangent function. 
/// </summary> 
public voidApply() 
{ 
this.y = Math.Tan(this.x); 


KA 
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<summary> 


/// Class Program. Computes the function sin(x) + cos(x) + tan(x). 


if 


</summary> 


public class Program 


{ 


/// <summary> 

/// Variable storing the coputed value for the function. 
/// </summary> 

private static double result; 


// we do not need synchronization anymore, because the update of the global 
// sum is done sequentially. 

// /// <summary> 

// /// Synchronization instance used to avoid keeping track of the threads. 


// /// </summary> 
// private static object synchRoot = new object(); 


/// <summary> 
/// Reference to the distributed application the threads belong to. 


/// </summary> 
private static AnekaApplication<AnekaThread, ThreadManager> app; 


/// <summary> 
/// Read the command line parameters and perform the scalar product. 


/// </summary> 
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/// <param name=“args”*>Array strings containing the command line parameters. </param> 


public static voidMain(string[] args) 
{ 
try 
{ 
// activates the logging facility. 
Logger .Start(); 
// creates the Aneka application instance. 
app = Program.CreateApplication(); 


// gets a value for x 
double x = 3.4d; 


// creates the function pointer to the update method. 
UpdateResult updater = newUpdateResult (Program.Sum) ; 


// creates the sine thread. 
Sine sine = newSine(x, updater); 
AnekaThread tSine =newAnekaThread (new ThreadStart (sine.Apply), app); 


// creates the cosine thread. 
Cosine cosine = newCosine(x, updater); 


AnekaThread tCosine =newAnekaThread (new ThreadStart(cosine.Apply), app); 


// creates the tangent thread. 
Tangent tangent = newTangent(x, updater); 


AnekaThread tTangent =newAnekaThread (new ThreadStart (tangent.Apply), app); 


// shuffles the execution order. 
tTangent.Start(); 


tSine.Start(); 
tCosine.Start(); 


// waits for the completion of the threads. 
tCosine.Join(); 

tTangent .Join(); 

tSine.Join(); 
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// once we have joined all the threads the values have been collected back 
// and we use the Target property in order to obtain the object with the 
// updated values. 

sine = (Sine) tSine.Target; 

cosine = (Cosine) tSine.Target; 

tangent = (Tangent) tSine.Target; 


Program.result = sine.Target.¥ + cosine.Y + tangent.Y; 


// the result is available, dumps it to consol 
Console .WriteLine(*£({0})): {1)*, x, Program.re 
} 
catch(Exception ex) 
{ 
IoUtil.DumpErrorReport(ex, "Math Functions - Error executing ”+ 
"the application”); 
} 
finally 
{ 
try 
{ 
// checks whether the application instance has been created 
// stops it. 
if (app != null) 
{ 
app.Stop(); 


} 
catch(Exception ex) 
i 


i 


IOUtil .DumpErrorReport (ex, “Math Functions - Error stopping * + 
"the application”); 
} 
// stops the logging thread. 
Logger .Stop() ; 


we do not need this anymore. 

/// <summary> 

/// Callback that is executed once the computation in the thread is completed 
/// and adds the partial value passed as a parameter to the result. 

/// </summary> 

/// <param name="partial”>Partial value to add.</param> 

private static void Sum(double partial) 


{ 
lock (Program. synchRoot) 
{ 
Program.result += partial; 
} 
// ) 


/// <summary> 
/// Creates an instance of the Aneka Application configured to use the 
/// Thread Programming Model. 
/// </summary> 
/// <returns>Application instance. </returns> 
private AnekaApplication<AnekaThread, ThreadManager> CreateApplication(); 
{ 
Configuration conf =new Configuration(); 
// this is the common address and port of a local installation 
// of the Aneka Cloud. 
conf.SchedulerUri = newUri("*tcp://localhost:9090/Aneka” ); 
conf.Credentials =newUserCredentials ("Administrator*, string.Empty); 
// we will not need support for file transfer, hence we optimize the 


// application in order to not require any file transfer service. 
conf.UseFileTransfer = false; 
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// we do not need any other configuration setting 


// we create the application instance and configure it. 
AnekaApplication<AnekaThread,ThreadManager> app = 

new AnekaApplication<AnekaThread, ThreadManager>(conf) ; 
return app; 





这 个 例子 演示 了 如 果 辅 助 方法 在 有 指向 本 地 对 象 (这 些 本 地 对 象 作为 执行 结果 来 进行 更 
ST) 的 引用 的 线程 中 执行 ， 该 如 何 改变 应 用 逻辑 。 为 了 让 具有 Aneka 线程 的 此 类 应 用 能 够 执 
体 ， 有 必要 从 辅助 方法 中 抽出 更 新 的 逻辑 并 使 之 在 主线 程 中 实现 - 


本 章 小 结 


这 一 章 简要 介绍 了 多 线程 编程 以 及 在 单 台 机 器 上 运行 多 进程 所 需 的 技术 。 我 们 介绍 了 多 
核 技 术 的 基础 ， 它 是 在 单 台 机 器 上 实现 并 行 化 的 最 新 技术 ,并且 讨论 了 如 何 利用 这 样 的 并 
行 化 来 加 速 使 用 多 线程 编程 的 应 用 。 一 个 线程 定义 了 一 个 进程 中 的 单个 控制 流 ， 而 进程 又 是 
在 现代 操作 系统 中 代表 一 个 运行 程序 的 逻辑 单元 。 当 前 几乎 所 有 的 主流 操作 系统 都 支持 多 线 
程 ， 无 论 底 层 的 硬件 是 否 显 式 支 持 真 正 的 并 行 。 真正 的 并 行 是 同时 由 多 个 可 用 的 处 理 器 或 处 
理 器 核 来 实现 的 ， 或 者 通过 在 同一 个 处 理 单元 上 交叉 执行 多 个 线程 来 实现 多 线程 。 

为 了 文 持 多 线程 编程 ， 编 程 语言 在 它们 的 类 库 中 定义 了 进程 和 线程 的 抽象 。 关 于 线程 和 
线程 同步 操作 的 一 个 主流 标准 是 POSIX， 它 被 所 有 的 Linux/UNIX 操作 系统 支持 ， 同 时 作为 
一 个 附加 库 对 Windows 操作 系统 系列 可 用 。POSIX 的 通常 实现 是 在 C/C++ 中 以 函数 库 形式 
提供 。 新 一 代 的 语言 (例如 Java 和 C#H(.NET)) 为 线程 管理 和 同步 提供 了 一 个 兼容 的 抽象 集 ， 
并 且 遵 循 这 些 语 言 特 有 的 面向 对 象 设计 方法 。 这 些 实现 对 于 任何 提供 了 这 些 语 言 所 需 运 行 时 
环境 实现 的 操作 系统 都 是 可 移植 的 。 

多 线程 缩 程 是 一 种 允许 在 单机 范围 内 实现 并 行 化 的 实践 。 常 规 的 多 线程 编程 不 能 满足 有 
高 并 并行 需 求 的 应 用 ， 这 个 时 候 就 需要 依赖 分 布 式 基 础 设施 ， 例 如 集群 、 网 格 或 最 近 和 常 提 
到 的 云 。 要 使 用 这 些 设施 就 有 必要 重新 设计 应 用 并 使 用 特定 的 API， 这 就 可 能 需要 对 现 有 的 
程序 做 出 显著 的 改变 。 为 了 解决 这 些 问题 ，Aneka 提出 了 线程 编程 模型 ， 它 扩展 了 多 线程 编 
程 的 原理 ， 使 之 能 够 超越 单 节点 的 界限 并 利用 异 构 的 分 布 式 基 础 设施 来 执行 。 为 了 最 大 限 
度 地 减少 应 用 程序 转换 ， 线 程 编 程 模型 模仿 了 System.Threading 命名 空间 的 API， 由 于 线程 
在 分 布 式 设施 上 执行 ， 所 以 这 样 的 模仿 自然 存在 局 限 。 高 吞吐 量 的 程序 可 以 很 容易 地 在 最 
小 程度 或 没有 改变 其 原 有 逻辑 的 情况 下 移植 到 Aneka 线程 。 这 类 功能 的 例子 以 及 转换 本 地 
多 线程 应 用 到 Aneka 线程 的 基本 步骤 ， 在 之 前 章节 中 讨论 并 行 问题 的 域 和 功能 分 解 时 已 经 
给 出 。 

作为 一 个 分 布 式 编程 框架 ，Aneka 提供 了 很 多 内 置 的 功能 ,但 是 这 些 功 能 在 架设 一 个 并 
发 线程 意义 上 的 应 用 时 一 般 不 会 使 用 。 这 些 功能 包括 对 事件 通知 和 文件 传输 的 支持 ,它们 作 
为 Aneka 程序 模型 的 核心 功能 是 可 用 的 ,但 是 在 线程 编程 模型 中 没有 体现 ， 该 模型 对 算法 
的 执行 进行 了 分 割 以 加 速 执行 。 然 而 ,它们 确实 在 下 一 章 讨论 的 “任务 包 ” 应 用 中 发 挥 了 巨 
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. 什么 是 吞吐 量 计算 ? 它 旨 在 实现 什么 目的 ? 

.什么 是 多 重 处 理 ? 描述 实现 多 重 处 理 的 不 同 技术 。 

. 什么 是 多 核 技 术 ? 它 与 多 重 处 理 有 什么 联系 ? 
.简要 描述 多 核 系 统 的 架构 。 

. 什么 是 多 任务 ? 

. 什么 是 多 线程 ? 它 与 多 任务 的 联系 是 什么 ? 

， 摘 述 进程 和 线程 的 关系 。 

. 应 用 的 并 行 性 依赖 于 并 行 硬件 架构 吗 ? 

. 从 编程 的 角度 以 及 并 行 应 用 执行 时 线程 使 用 的 角度 描述 线程 的 主要 特点 。 
10. 什么 是 POSIX ? 

ll. 描述 在 新 一 代 语 言 (如 Java 或 C#) 中 给 予 线程 编程 的 支持 。 
12. 还 辑 线程 和 物理 线程 分 别 指 什么 ? 

13. 对 于 线程 实现 的 通常 操作 是 什么 ? 

14. 摘 述 定义 计算 机 算法 并 行 实现 的 两 个 关键 技术 。 

15. 什么 是 高 度 并 行 问 题 ? 

16. 描述 如 何 使 用 域 分 解 实现 并 行 矩阵 标量 积 。 

17. 通信 如 何 影响 并 行 或 分 布 式 算法 的 设计 与 实现 ? 

18. Aneka 为 多 线程 提供 哪些 支持 ? 

19. 描述 Aneka 线程 和 本 地 线程 的 主要 不 同 点 。 

20. 线程 编程 模型 的 局 限 是 什么 ? 

21. 设计 使 用 简单 线程 制 表 的 高 斯 函数 的 并 行 实现 ， 而 后 将 其 转换 为 Aneka BE. 
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任务 计算 是 涵盖 了 几 种 不 同 模型 架构 设计 的 分 布 式 应 用 程序 的 分 布 式 系统 编程 ， 这 些 应 
用 程序 最 终 都 基于 相同 的 基本 抽象 : 任务 。 一 个 任务 通常 代表 一 个 程序 ， 需 要 输入 文件 ， 并 
生成 输出 文件 作为 其 执行 的 结果 。 应 用 程序 由 一 系列 任务 组 成 。 这 些 任务 在 提交 后 执行 ， 执 
行 结束 时 可 收集 其 输出 数据 。 通 过 生成 任务 的 方式 、 任 务 执行 顺序 以 及 任务 中 是 否 需 要 交换 
效 据 ， 可 以 区 分 任务 编程 类 型 的 不 同 应 用 程序 模型 。 

本 章 朱 述 了 任务 的 抽象 化 ， 并 简要 介绍 了 基于 任务 抽象 的 分 布 式 应 用 程序 模型 。 通 常 
把 Aneka 任务 编程 模型 作为 参考 来 说 明 任务 包 (BoT) 应 用 程序 在 一 个 分 布 式 基础 设施 上 的 
执行 。 


7.1 任务 计算 


对 于 开发 并 行 和 分 布 式 计算 应 用 程序 ， 在 任务 方面 组 织 一 个 应 用 程序 是 最 直观 、 最 普遍 
的 做 法 。 一 个 任务 标识 一 个 或 多 个 操作 ， 不同 的 操作 产生 不 同 的 输出 ， 并 且 这 些 输出 可 以 被 
分 离 为 单个 逻辑 单元 。 在 实践 中 ， 一 个 任务 被 表示 为 一 个 代码 不 同 的 单元 ， 或 一 个 程序 ， 它 
可 以 分 离 。 并 可 以 在 一 个 远程 的 运行 环境 中 执行 。 程 序 是 解析 任务 最 常见 的 选择 ， 尤 其 是 在 
科学 计算 领域 ， 该 领域 为 了 方便 计算 已 经 使 用 了 分 布 式 计算 。 

多 线程 编程 主要 涉及 在 一 台 机 器 内 提供 并 行 支持 。 任 务 计算 通过 利用 多 个 计算 节点 的 计 
算 能 力 来 实现 分 布 式 计算 。 因 此 ， 分 布 式 基础 设施 是 明确 存在 于 该 模型 中 的 。 之 前 用 于 执行 
任务 的 基础 设施 是 集群 、 超 级 计算 机 和 计算 网 格 。 为 了 获得 执行 分 布 式 应 用 程序 所 需要 的 巨 
大 计算 能 力 ， 云 已 成 为 一 个 有 吸引 力 的 解决 方案 。 为 了 实现 这 一 目标 ， 需 要 合适 的 中 间 件 。 
图 7-1 展示 了 利用 任务 计算 的 一 个 参考 场景 。 
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图 7-1 任务 计算 场景 
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中 间 件 是 一 个 软件 层 ， 能 够 协调 使 用 从 数据 中 心 或 地 理 上 分 散 的 网 络 计算 机 中 提取 的 多 
种 资源 。 用 户 将 任务 集合 提交 到 中 间 件 的 接 入 点 ， 这 需要 注意 调度 和 监控 任务 的 执行 。 每 
个 计算 资源 提供 了 一 个 适当 的 运行 环境 ， 不 同 实现 (简单 的 shell、 沙 箱 环境 或 虚拟 机 ) Ciel 
可 能 会 有 所 不 同 。 无 论 是 We 还 是 编程 语言 接口 ， 通 常 都 采用 中 间 件 提供 的 API 提交 任务 、 
监控 任务 状态 和 收集 结果 。 

由 于 任务 的 抽象 性 ， 在 任务 计算 的 保护 下 存在 着 不 同 的 分 布 式 应 用 程序 模型 。 这 个 特性 
使 得 识别 一 组 常用 操作 成 为 可 能 ， 中 间 件 支持 创建 和 执行 基于 任务 的 应 用 程序 ， 主 要 包括 : 

e 协调 和 调度 任务 在 一 组 远程 节点 上 的 执行 。 

e 移动 程序 到 远程 节点 并 管理 它们 的 依赖 关系 。 

o 创建 在 远程 节点 上 执行 任务 的 环境 。 

o 监控 每 个 任务 的 执行 ， 并 通知 用 户 其 执行 状态 。 

o 访问 由 任务 产生 的 输出 。 

任务 计算 模型 可 能 会 因 任务 调度 方式 而 有 所 不 同 ， 而 这 又 取决 于 任务 是 否 相互 关联 ， 或 
是 否 需 要 彼此 沟通 。 


7.1.1 任务 特性 


一 个 任务 是 识别 由 具有 有 形 输出 的 分 布 式 应 用 程序 的 计算 单元 构成 的 一 个 程序 或 一 组 程 
序 的 一 般 抽 和 象 。 任 务 表 示 逻 辑 上 可 分 离 并 分 别 执行 的 应 用 程序 组 件 。 分 布 式 应 用 程序 由 任 
务 组 成 ， 任 务 的 集体 执行 和 相互 关系 定义 了 应 用 程序 的 性 质 。 一 个 任务 可 以 由 不 同 的 元 素来 
表示 : 

e 几 个 应 用 程序 共同 执行 组 成 的 一 个 shell 脚本 。 

e 单个 程序 。 

e 在 一 个 特定 运行 环境 的 上 下 文中 执行 的 代码 单元 (一 个 Java/C++/,NET 类 )。 

任务 通常 的 特征 是 输入 文件 、 可 执行 代码 (程序 、shell 脚本 等 ) 和 输出 文件 。 在 许多 情 
况 下 ， 任 务 执行 的 常见 运行 环境 是 操作 系统 或 等 效 的 沙 箱 环境 。 除 了 可 以 传送 到 该 节点 的 库 
依赖 之 外 ， 任 务 也 需要 远程 执行 节点 上 的 特定 软件 设施 。 

一 些 分 布 式 应 用 程序 可 能 有 额外 的 限制 。 例 如 ， 在 编程 水 平 上 (通过 类 继承 或 接口 实现 ) 
描述 任务 抽象 性 的 分 布 式 计算 框架 ， 可 能 需要 额外 的 限制 ( 即 符合 继承 规则 )， 以 及 一 组 更 
丰富 的 可 供 开 发 人 员 利用 的 功能 。 根 据 应 用 程序 的 具体 模型 ， 任 务 之 间 可 能 有 依赖 关系 。 


7.1.2 计算 类 别 


根据 问题 的 特定 性 质 ， 已 经 提出 过 多 种 用 于 任务 计算 的 类 别 。 这 些 类 别 不 强制 要 求 任何 
特定 的 应 用 程序 模型 ， 但 提供 关于 问题 特性 的 总 体 视图 。 它 们 隐 式 地 将 要 求 强加 给 基础 设施 
和 中 间 件 。 这 一 类 应 用 程序 主要 包括 高 性 能 计算 (HPC)、 高 吞吐 量 计算 (HTC) 和 多 任务 计 
算 (MTC)。 

1. 高 性 能 计算 

高 性 能 计算 (HPC) 是 利用 分 布 式 计算 设施 来 解决 需要 大 量 计 算 能 力 的 问题 。 以 往 ， 超 
级 计算 机 和 集群 是 专门 支持 HPC 应 用 的 ， 用 于 解决 科学 与 工程 中 的 “大 挑战 ”问题 。HPC 
应 用 程序 是 由 一 系列 在 短 时 间 内 需要 进行 处 理 的 计算 密集 型 任务 构成 的 。 这 种 并 行 和 紧密 挑 
合 的 任务 是 很 常见 的 ， 它 需要 低 延 迟 的 互连网 络 以 尽量 减少 数据 交换 时 间 。 用 来 评估 HPC 
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系统 的 指标 是 浮 点 运算 / 秒 (FLOPS)、 兆 次 浮 点 运算 / 秒 甚 至 千 兆 次 浮 点 运算 / 秒 ， 表 示 计 
算 系 统 每 秒 可 以 执行 浮 点 运算 的 次 数 。 

2. 高 吞吐 量 计算 

HEE (HTC) 是 利用 分 布 式 计算 设施 来 实现 在 长 时 间 内 要 求 大 量 计算 能 力 的 应 
Al. HTC 系统 必须 具有 是 够 的 健壮 性 ， 并 且 能 在 一 段 较 长 的 时 间 上 进行 可 靠 操 作 。 传 统 上 ， 
寞 构 资 源 (集群 、 工 作 站 和 志愿 者 台式 机 ) 组 成 的 计算 网 格 已 用 于 支持 HTC。HTC 应 用 程 
序 是 由 大 量 任务 组 成 的 ， 这 些 任务 的 执行 可 能 会 持续 相当 长 的 时 间 ( 几 周 或 数 月 )。 科 学 模 
拟 和 统计 分 析 是 这 种 应 用 的 典型 例子 。 可 以 在 分 布 式 资源 中 调度 的 独立 任务 是 很 常见 的 ， 因 
为 它们 不 需要 进行 通信 。HTC 系统 以 每 月 完成 的 作业 数 来 衡量 性 能 。 

3. 多 任务 计算 

多 任务 计 站 (MTC) [61] 最 近 才 开始 受到 关注 并 得 到 广泛 应 用 。 它 旨 在 消除 HPC 和 
HTC 之 间 的 差距 。 MTC XMF HTC, 但 是 它 着 重 于 在 短 时 间 内 使 用 许多 计算 资源 来 完 
成 许多 计算 任务 。 简 言 之 ，MTC 表示 通过 文件 系统 操作 连接 多 个 不 同 活动 的 高 性 能 计算 。 
MTC 的 特征 是 任务 的 异 质 性 ， 即 可 能 会 有 大 量 不 同 的 性 质 : 大 任务 或 小 任务 ， 单 处 理 器 或 
多 处 理 器 ， 计 算 密 集 型 或 数据 密集 型 ， 静 态 或 动态 ， 同 构 或 异 构 等 。MTC 应 用 程序 是 松 耦 
合 的 ， 一 般 是 通信 密集 型 ， 但 不 能 通过 HPC 领域 中 常见 的 消息 传递 接口 来 自然 表达 ， 需 要 
注意 许多 计算 是 多 样 化 的 但 不 是 高 度 并 行 的 。 考 虑 到 MTC 通常 由 大 量 的 任务 构成 ， 所 以 任 
何 具 有 大 量 计算 元 件 的 分 布 式 设施 也 能 够 支持 MTC。 这 些 设施 包括 超级 计算 机 、 大 型 集群 
和 新 兴 的 云 基础 设施 。 


7.1.3 任务 计算 框架 


一 些 框架 可 以 支持 基于 任务 的 应 用 程序 在 包括 云 在 内 的 分 布 式 计 算 资 源 上 执行 。 支 持 任 
务 计算 框架 的 大 众 软件 有 Condor[5] Globus 工具 包 [12], Sun Grid Engine (SGE) [13], 
BOINC[14] 、Nimrod/G[164] 和 Aneka. 

这 些 系 统 的 架构 类 似 于 图 7-1 所 示 的 通用 参考 架构 。 它 们 包括 两 个 主要 组 件 : 调度 节点 
(一 个 或 多 个 ) 和 工作 节点 。 系 统 组 件 的 组 成 可 能 会 发 生变 化 。 例 如 ,在 层次 结构 中 可 以 包 
含 多 个 调度 节点 。 这 种 配置 在 计算 网 格 的 中 间 件 中 相当 普遍 ， 它 利用 一 个 或 多 个 组 织 或 站 点 
的 各 种 分 布 式 资源 。 每 个 站 点 可 以 有 自己 的 调度 引擎 ， 特 别 是 当 该 系统 有 助 于 网 格 计 算 而 且 
能 为 本 地 用 户 服务 的 时 候 。 

一 个 典型 的 例子 是 集群 的 设置 ， 系 统 可 能 安装 Condor 或 SGE 进行 批 处 理 作业 提交 ， 这 
些 服务 通常 在 站 点 使 用 ， 但 集群 能 够 集成 到 一 个 更 大 的 网 格 ， 在 该 网 格 中 ，GRAM?” (Globus 
资源 分 配 管理 器 ) 等 元 调度 器 可 以 把 作业 集合 调度 到 集群 。 其 他 选项 包括 没有 任何 调度 能 力 
的 网 关节 点 ， 它 们 简单 地 构成 系统 的 接 人 和 人 点。 这些 节点 有 索引 服务 ， 人 允许 用 户 确 定 系统 中 的 
可 用 资源 ， 以 及 其 当前 状态 和 可 用 调度 器 。 工 作 节 点 一 般 提 供 一 个 沙 箱 环 境 ， 在 沙 箱 环 境 
中 ， 任 务 的 执行 是 代表 特定 用 户 或 在 特定 的 安全 上 下 文中 ， 限 制程 序 执行 的 操作 ， 如 文件 系 
统 访问 。 文 件 传输 也 是 这 些 系统 支持 的 基本 特征 。 集 群 通常 配 有 共享 文件 系统 和 并 行 IO 设 
备 。 网 格 为 用 户 提供 各 种 临时 设施 ， 如 凭据 访问 远程 工作 节点 或 透明 地 从 用 户 的 本 地 计算 机 
将 文件 移动 到 远程 节点 的 自动 化 升级 服务 。 


© GRAM 是 Globus 工具 集 的 一 个 组 件 ， 负 责 网 格 计算 系统 中 的 作业 定位 、 提 交 、 监 控 和 取消 。 
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Condor 可 能 是 使 用 最 广泛 、 存 在 时 间 最 长 的 用 于 管理 集群 、 闲 置 工 作 站 和 集群 集合 
的 中 间 件 。Condor-G 是 Condor 的 一 个 版 本 ,支持 由 Globus 管理 的 网 格 计算 资源 集成 。 
Condor 支持 批 处 理 队列 系统 的 共同 特点 ， 以 及 检查 点 工作 的 能 力 和 管理 超载 节点 。 它 提供 
了 一 个 功能 强大 的 资源 匹配 机 制 ， 只 对 具备 合适 运行 环境 的 资源 进行 调度 。Condor 可 以 处 
理 大 量 资源 的 串 行 和 并 行 作 业 ， 用 于 工业 界 、 政 府 和 学 术 界 的 很 多 组 织 ， 管 理 从 几 个 到 上 千 
个 工作 站 的 基础 设施 。 

Sun 网 格 引擎 (SGE)， 即 现在 的 Oracle 网 格 引 敬 ， 是 工作 量 和 分 布 式 资源 管理 的 中 间 
件 。 最 初 开发 SGE 是 为 了 支持 集群 上 作业 的 执行 ， 因 此 集成 了 额外 的 功能 ， 现 在 SGE AE 
管理 异 构 资 源 ， 并 构成 网 格 计算 的 中 间 件 。 它 支持 并 行 、 串 行 、 交 互 和 参数 化 作业 的 执行 ， 
并 具有 先进 的 调度 功能 ， 例 如 基于 预算 和 组 的 调度 、 有 期 限 地 调度 应 用 程序 、 自 定义 策略 以 
及 提前 预订 。 

Globus 工具 包 是 一 组 技术 的 集合 ， 能 够 进行 网 格 计算 。 它 提供 了 一 套 全 面 的 工具 ， 用 
于 跨 企业 、 机 构 和 地 理 边界 共享 计算 能 力 、 数 据 库 和 其 他 服务 ， 无 需 影 响 本 地 目 治 。 该 工 
具 包 提供 软件 服务 、 库 和 资源 监测 、 发 现 和 管理 工具 ， 以 及 安全 性 和 文件 管理 工具 。Globus 
工具 包 解 决 了 网 格 计算 的 核心 问题 ， 管 理 分 布 在 不 同 组 织 的 异 构 资源 组 成 的 分 布 式 环境 ， 同 
时 考虑 了 安全 性 和 互 操作 性 方面 的 所 有 隐 含 条 件 。 为 了 在 这 种 情况 下 提供 对 网 格 计 算 的 有 效 
文 持 ， 该 工具 包 定 义 了 接口 集合 和 互 操 作协 议 ， 使 不 同 的 系统 能 够 相互 整合 ， 并 获得 其 边界 
之 外 的 资源 。 

Nimrod/G[164] 是 在 全 球 计算 网 格 内 自动 建 模 和 执行 参数 化 应 用 程序 的 工具 。 它 提供 了 
一 种 简单 的 参数 化 建 模 声明 语言 ， 用 于 表述 参数 性 实验 。 领 域 专家 可 以 很 容易 地 创建 一 个 参 
数 化 的 实验 计划 ， 并 使 用 Nimrod/G 系统 部 署 在 分 布 式 资源 上 执行 的 作业 。 近 年 来 它 已 广泛 
用 于 各 种 应 用 程序 ， 从 量子 化 学 到 政策 和 环境 。 此 外 ， 它 还 采用 了 基于 经 济 原理 的 新 型 资源 
管理 和 调度 算法 。 具 体 来 说 ， 它 支持 在 分 布 式 网 格 资源 上 对 应 用 程序 进行 期 限 和 预算 约束 的 
调度 ， 以 尽量 减少 执行 成 本 ， 并 且 能 够 及 时 交付 成 果 。 

用 于 网 络 计 算 的 伯克利 开放 式 架 构 (BONC) 是 志愿 计算 和 网 格 计 算 的 框架 。 它 使 得 无 
效 的 台式 机 变 成 可 被 用 于 运行 作业 的 志愿 计算 节点 。BOINC 由 两 个 主要 部 分 组 成 ， BOINC 
服务 器 和 BOINC 客户 端 。 前 者 是 中 心 节点 ， 用 于 跟踪 所 有 可 用 的 资源 和 作业 调度 ， 后 者 是 
部 闭 在 台式 机 上 ， 为 作业 提交 创建 BOINC 执行 环境 的 软件 组 件 。 鉴 于 BOINC 客户 端的 波 
动 性 ，BOINC 支持 作业 检查 点 和 复制 。 即 使 主要 集中 在 志愿 计算 ，BOINC 系统 也 可 以 方便 
地 建立 ， 通 过 利用 专用 机 创建 计算 网 格 为 作业 的 执行 提供 更 加 稳定 的 环境 支持 。 要 充分 利 
用 BOINC, 需要 建立 一 个 应 用 程序 项 目 。 在 安装 BOINC 客户 端 时 ， 用 户 可 以 决定 将 计算 机 
CPU 周期 捐助 给 哪个 应 用 程序 项 目 。 目 前 ， 医 药学 、 天 文学 和 密码 学 等 项 目 都 在 BOINC 基 
础 设施 上 运行 。 


7.2 基于 任务 的 应 用 模型 


很 多 基于 任务 概念 的 模型 都 是 构成 分 布 式 应 用 程序 的 基本 单元 。 使 这 些 模型 相互 不 同 的 
是 任务 生成 方式 、 任 务 之 间 的 联系 、 任 务 间 依赖 性 的 存在 及 其 他 条 件 ， 例 如 在 运行 环境 中 的 
一 组 特定 的 服务 。 本 节 快 速 回 顾 一 下 基于 任务 最 常见 的 模型 。 
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7.2.1 高 度 并 行 应 用 


高 度 并 行 应 用 构成 了 分 布 式 应 用 中 最 简单 也 最 直接 的 一 类 。 正 如 第 6 章 讨 论 过 的 ， 高 度 
并 行 应 用 由 一 系列 相互 独立 且 可 以 按 任何 次 序 执行 的 任务 构成 。 各 任务 的 类 型 可 能 相同 也 可 
能 不 同 ， 它 们 之 间 可 能 不 需要 通信 。 

该 类 应 用 被 大 多 数 分 布 式 计算 框架 所 支持 。 由 于 任务 间 不 需要 通信 ， 因 此 任务 的 调度 具 
有 很 大 的 日 由 度 。 任 务 可 以 在 任意 时 间 执 行 ， 并 不 要 求 某 些 任务 必须 同时 执行 。 因此， 该 类 
应 用 的 调度 相对 人 简单， 主要 是 关于 任务 与 可 用 资源 间 的 优化 映射 。 支 持 高 度 并 行 框 架 的 应 用 
包括 Globus 工具 包 、BOINC 和 Aneka, 

高 度 并 行 处 理 的 问题 模型 包括 图 像 / 视频 泻 染 、 演 进 优化 和 模型 预测 。 在 图 像 和 视频 泻 
染 方面 ， 任 务 分 别 表 示 对 像素 (图 像 的 一 部 分 区 域 ) 或 者 帧 的 泻 染 。 对 于 演进 优化 的 元 启发 
式 算 法 和 模型 预测 应 用 而 言 ， 任 务 表示 该 算法 在 给 定 参数 下 的 单 次 执行 。 总 之 ， 科 学 应 用 构 
成 了 很 多 高 度 并 行 应 用 的 场景 ， 尽 管 这 些 应 用 可 以 被 更 具体 地 划分 到 参数 化 应 用 当中 。 


7.2.2 参数 化 应 用 


参数 化 应 用 是 高 度 并 行 应 用 的 一 个 分 支 ， 所 划分 的 任务 本 质 相同 只 是 执行 参数 不 同 。 参 
数 化 任务 由 模板 任务 和 参数 集 所 定义 。 模 板 任务 定义 了 远程 节点 上 所 需要 执行 的 操作 。 模 板 
任务 需要 参数 ， 参 数 集 是 由 将 模板 任务 配置 为 计算 实例 的 变量 构成 的 集合 。 参 数 以 及 它们 各 
目的 可 行 域 构成 了 应 用 多 维 域 ， 多 维 域 中 的 每 个 点 代表 了 一 个 任务 实例 。 

任何 支持 高 度 并 行 应 用 (任务 可 以 相互 独立 执行 ) 的 分 布 式 计算 框架 也 支持 参数 化 应 用 
的 执行 。 参 数 化 应 用 相对 于 高 度 并 行 应 用 的 不 同 在 于 ， 所 有 的 执行 任务 通过 对 参数 集中 所 有 
可 能 的 合理 组 合 遍 历 生 成 。 上 述 操作 可 以 由 框架 本 身 或 者 分 布 式 计算 的 中 间 件 完成 。 例 如 ， 
Nimrod/G 支持 参数 化 应 用 的 执行 。Aneka 提供 了 一 个 基于 客户 端的 工具 ， 可 以 可 视 化 地 编 
写 模板 任务 ， 设 定 参数 集 以 及 遍历 此 类 参数 的 所 有 可 能 组 合 。 

参数 化 应 用 类 型 众多 ， 大 部 分 来 自 科 学 计算 领域 ， 如 演进 优化 算法 、 天 气 预 报 模型 、 流 
体力 学 应 用 、 和 蒙特 卡 罗 方 法 等 。 例 如 ， 在 演进 式 算法 中 可 以 将 相关 计算 参数 的 集合 定义 为 应 
用 的 域 。 在 遗传 算法 中 ， 优 化 群 包含 一 定数 量 的 个 体 ， 优 化 器 具有 设 定 的 迭代 次 数 。 使 用 参 
数 化 方法 执行 遗传 演进 算法 (优化 群 的 数量 和 迭代 次 数 可 人 为 设置 ) 的 伪 代 码 如 下 : 


individuals = {100, 200, 300, 500, 1000} 
generations = {50, 100, 200, 400) 
foreach indivin individuals do 

foreach generation in generations do 


task = generate_task(indiv, generation) 
submit_task( task) 


Aas (Bl MP HHA A 7 EE SL. -AARE RSA AE | aT A PE A et 
代 次 数 的 组 合 进行 遍历 ， 生 成 应 用 中 的 全 部 任务 。 本 例 中 有 20 个 任务 生成 。generate_task 
函数 由 应 用 决定 ， 通 过 替换 模板 定义 中 相应 变量 的 indiv 和 generation 值 来 创建 任务 实例 。 
函数 submit task 由 中 间 件 定义 ， 并 执行 实际 的 任务 提交 。 

总 体 而 言 ， 模 板 任务 由 遗留 应 用 (具有 恰当 参数 ) 的 执行 操作 和 和 执行 数据 迁移 的 文件 
系统 操作 组 成 。 因 此 ， 对 参数 化 应 用 提供 原生 支持 的 框架 通常 提供 了 一 系列 文件 操作 命令 。 
此 外 ， 模 板 任务 通常 记录 在 一 个 文件 中 ， 并 包含 了 系统 所 提供 的 命令 。 通 常 系统 可 用 的 命令 
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如 下 : 

o 执行 。 在 远程 节点 上 执行 一 段 代 码 。 

o 复制 。 从 远程 节点 导 人 或 导出 文件 。 

© 替换 。 用 参数 在 文件 中 的 占 位 符 替换 参数 值 。 

e 删除 。 删 除 文件 。 

上 述 所 有 命令 可 以 带 参数 操作 ， 用 每 个 任务 实例 的 实际 值 蔡 换 参 数 。 

图 7-2 和 图 7-3 定义 了 两 个 可 能 的 任务 模板 ， 前 者 根据 Nimrod/G 的 符号 体系 定义 ， 后 
者 是 Aneka 所 需要 的 格式 。 


parameter x float range from 1 to 10 step 1, 
parameter y float range from -4 to 5 step 1 


task main 
node:execute /bin/echo X:${x} Y¥:S{y) > output 
copy nodeé:output output, expr S${y}\*10+S(x}° 
endtask 


图 7-2 Nimrod/G 任务 模板 定义 


<psm> 
<name> Aneka Blast</name> 
<description> BLAST simulation</description> 
<workspace>C:\Projects\Explorer\blast</workspace> 
Sparameters> 
<single name="p" type="Stning” comment="The name of the program" value="blastn'/> 
<single name="d" type="String” comment="The database file" value="ecolint"/> 
<range name="s" type="String” comment="The sequence file" from="0" to="2" interval="1"/> 
</parameters> 
<sharedFiles> 
“file path="blastall.exe" vpath="blastall.exe"/> 
file path="ecoli.nt.nhr® vpath="ecoli. nt.nhr"/> 
<file path="ecoli. nt.nin® vpath="ecoli.nt nin"/> 
<file path="ecoli.nt.nnd" vpath="ecoli nt.nnd"/> 
“file path="ecoli nt.nni" vpath="ecoli.nt.nni"/> 
<file path="ecoli.nt.nsd" vpath="ecoli nt nsd"/> 
<file path="ecoli.nt.nsi” vpath="ecoli nt.nsi"/> 
<file path="ecoli nt.nsq" vpath="ecoli.nt.nsq'/> 
</sharedFiles> 
<task> 
<mputs> 
file path="seq($s).txt" vpath="seq($s), txt"/> 
</inputs> 
Soutputs> 
Sfile path="output($s).txt" vpath="output($s). tzt"/> 
</outputs> 
<commands> 
Sexecute cmd="blastall.exe" args="-p (Sp) -d ($d) -i seq($s).txt -o output($s).tet"/> 
</commands> 
</task> 
</psm> 


图 7-3 参数 化 文件 


模板 文件 由 两 个 部 分 构成 ，header 部 分 用 于 参数 的 定义 ， 任务 定义 部 分 使 用 了 系统 shell 
命令 和 Nimrod/G 命令 , “node : ”前 级 定义 了 执行 任务 的 远程 节点 ， ${...) 前 级 定义 了 参数 。 
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示例 介绍 了 远程 执行 echo 命令 ,并 将 命令 的 本 地 输出 结果 保存 在 文件 中 (文件 名 由 参数 x、 
y 决定 )， 然 后 复制 到 本 地 用 户 目 录 。 

Aneka 参数 化 文件 定义 了 执行 示例 中 的 BLAST 应 用 的 模板 文件 。 该 文件 是 一 个 KML 
文档 ， 包 含 sharedFiles、parameters 和 task 等 部 分 。parameters 中 包含 了 定 置 模板 任务 所 需 
参数 的 定义 ， 即 定义 了 single F range 两 个 属性 。sharedFile 部 分 定义 了 执行 任务 所 需 的 文 
件 。task 部 分 描述 了 模板 任务 的 具体 操作 。 除 了 包含 命令 集 之 外 (本 例 中 只 有 一 条 简单 的 
execute 命令 )，task 也 包含 一 系列 本 地 和 远程 路 径 来 定义 输入 、 输 出 文件 。 对 于 图 7-2 所 示 
的 例子 ， 不 必 显 式 地 将 文件 发 送 至 远程 (节点 ) 目的 地 ，Aneka 可 以 自动 执行 该 操作 。 


7.2.3 消息 传递 接口 应 用 


消息 传递 接口 (MPI) 是 开发 通过 交换 消息 进行 通信 的 并 行程 序 的 规范 。 相 对 于 其 他 早 
期 模型 ，MPI 在 其 分 布 式 任务 中 引入 了 通信 约束 使 任务 必须 同时 执行 。MPI 规范 已 经 联合 了 
几 个 支持 分 布 式 计算 (支持 分 布 式 存储 器 共享 和 消息 传递 ) 的 平台 ， 致 力 于 创造 一 种 共同 规 
范 。 目 前 ，MPI 事实 上 已 经 成 为 了 开发 可 移植 的 、 高 效 消息 传递 的 高 性 能 计算 应 用 。 接 口 规 
范 已 经 被 C、C++ Al Fortran 语言 定义 和 实现 。 

MPI 向 开发 者 提供 了 一 系列 规范 : 

e 管理 MPI 程序 所 运行 的 分 布 式 环境 。 

e 问 点 对 点 通信 提供 服务 。 

o 癌 群 组 通信 提供 服务 。 

e 支持 数据 结构 定义 和 内 存 分 配 。 

o 为 块 调用 的 同步 提供 基本 支持 。 

MPI 的 总 体 参 考 框架 如 图 7-4 tas. MPI 的 分 布 式 应 用 由 一 系列 MPI 进程 构成 ，MPI 
进程 并 行 地 运行 在 支持 MPI 的 分 布 式 框架 上 (更 像 是 从 云 中 租用 的 节点 或 集群 )。 
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图 7-4 MPI 参考 场景 
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MPI 应 用 共享 相同 的 MPI 运行 环境 ， 默 认为 是 MPI COMM WORLD 的 一 部 分 。 该 进 
程 组 内 ， 所 有 的 分 布 式 进程 都 有 一 个 独特 的 标签 使 MPI 环境 能 够 定位 和 处 理 它们 。 在 全 局 


任务 域内 可 以 创建 具体 的 任务 子 集 ， 例 如 将 属于 同一 应 用 的 所 有 MP 进程 划分 为 一 组 。 每 


个 MPI 进程 根据 所 属 的 分 组 分 配 一 个 标签 ， 该 标签 是 一 个 独特 的 标识 符 ， 人 允许 组 内 进程 间 
相互 通信 。 通信 过 程 是 通过 为 每 个 进程 组 设 定 的 传播 组 件 实现 的 。 

创建 一 个 MPI 应 用 需要 定义 
MPI 并 行 执行 进程 的 代码 。 程 序 ~ 
的 总 体 框 架 如 图 7-5 所 示 。 并 行 执 | 六 部 分 es = 一 一 
行 的 代码 部 分 显然 位 于 两 个 操作 符 














(开启 和 关闭 MPI 环 境 ) 之 间 ， 期 间 | | aa 
可 以 使 用 所 有 MPI 函数 以 同步 或 者 Mass | ——— 
异步 的 方式 来 发 送 或 者 接受 消息 。 

图 7-5 表 明 MPI 支 持 均匀 应 pr i 
用 ， 即 每 个 节点 上 执行 的 代码 部 分 Ei a 2 
是 相同 的 。 事 实 上 ， 通 过 程序 标号 CO ae} | aE 
(运行 时 可 获取 ) 区 分 节点 上 执行 的 | 
操作 来 实现 基于 负载 通信 类 型 的 应 
用 在 MPI 框 架 下 是 可 行 的 。MPI 的 £ 
常用 模式 之 一 是 主 从 模式 ， 由 一 个 执行 ! | RARE 
进程 (通常 标号 为 0 ) 协作 其 他 进程 Wo 


的 运行 。 

MPI 实现 框架 中 的 程序 将 会 被 
相关 语言 的 改进 版 本 的 编译 器 所 编译 。 编 译 器 将 引入 附 加 代码 来 管理 运行 环境 。 编译 过 程 的 
输出 文件 可 以 通过 MPI 实现 框架 提供 的 工具 实现 分 布 式 应 用 . 

MPI 应 用 的 执行 环境 构成 了 一 个 集群 。 此 时 MPI 安装 在 共享 文件 系统 中 ， 每 个 节点 上 
配置 一 个 MPI 后 台 程 序 来 协作 MPI 应 用 的 并 行 执行 。 一 旦 运行 环境 设置 完成 ， 就 可 以 使 用 
MPI 实现 框架 所 提供 的 工具 来 运行 并 行 应 用 并 确立 一 些 具 体 选 项 ， 例 如 执行 应 用 的 节点 数量 . 

目前 已 经 有 几 种 开发 分 布 式 应 用 的 MPI 实现 框架 ，MPI 规范 也 发 布 了 版 本 2。 一 个 较为 
流行 的 MPI 软件 环境 ( www.mcs.anl.gov/mpi) 是 由 美国 Argonne 国家 实验 室 开发 的 .MPI 
作为 一 个 并 行 和 分 布 式 编程 模型 在 CPU 密集 型 的 数学 计算 (例如 线性 系统 求解 、 矩 阵 运 算 、 
有 限 元 计算 、 线 性 代数 和 数值 模型 ) 方面 已 经 拥有 许多 成 功 案例 。 


7.2.4 具有 任务 依赖 性 的 工作 流 应 用 


工作 流 应 用 由 一 系列 具有 依赖 性 的 任务 构成 。 这 些 依赖 (主要 是 数据 依赖 ， 例 如 一 项 任 
务 的 输出 构成 另 一 项 任务 的 前 提 ) 决定 了 应 用 调度 的 方式 和 分 布 。 本 例 中 所 关注 的 是 提供 一 
个 任务 的 易 用 序列 并 优化 任务 的 放置 以 获取 最 小 的 数据 迁移 代价 。 

1. 什么 是 工作 流 

在 商用 开发 领域 ， 工 作 流 有 很 长 的 历史 ， 它 通过 描述 一 系列 服务 的 组 合 构成 了 一 个 商业 
流程 。 工 作 流 管 理 联盟 将 工作 流 定义 为 商业 过 程 的 自动 化 ， 在 整体 或 局 部 上 ， 按 照 一 系列 流 
程 规 范 ， 将 文件 、 信 息 或 任务 从 一 个 参与 者 (资源 、 人 或 机 器 ) 传递 给 另 一 个 [64] 。 工 作 流 


图 7-5 MPI 程序 结构 
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将 具有 相互 依赖 关系 的 任务 构成 一 个 执行 框架 的 理念 对 于 表述 许多 科学 实验 过 程 十 分 有 效 ， 
并 催生 了 科学 工作 流 。 许 多 科学 实验 都 是 由 许多 特定 连接 次 序 的 子 问题 解决 组 件 构成 的 ， 连 
接 次 序 是 实验 的 重要 属性 。 但 这 些 科 学 实验 本 质 上 具有 并 行 关 系 ， 当 需要 执行 大 量 操作 或 者 
处 理 大 量 数据 时 ， 就 有 必要 在 分 布 式 框架 上 执行 。 对 于 科学 工作 流 ， 流 程 由 一 个 执行 应 用 所 
决定 ， 参 与 者 间 传 递 的 元 素 主 要 是 任务 和 数据 ， 参 与 者 主要 是 计算 和 存储 节点 。 流 程 规范 由 
工作 流 定 义 框架 所 定义 ， 以 便 指导 任务 调度 。 科 学 工作 流 主要 涉及 数据 管理 、 分 析 、 仿 真 和 
支持 工作 流 执行 的 中 间 件 。 

科学 工作 流通 常 由 有 向 无 环 图 (DAG) 表示 ， 可 描述 任务 或 操作 间 的 依赖 关系 。 有 向 无 
环 图 中 的 节点 表示 工作 流 应 用 中 需要 执行 的 任务 ， 连 接 节点 的 箭头 定义 了 任务 间 的 依赖 关系 
以 及 连接 任务 的 数据 路 径 。 有 向 无 环 图 中 最 常见 的 依赖 关系 是 数据 依赖 ， 即 一 项 任务 的 输出 
文件 构成 了 另 一 项 任务 的 输入 文件 。 这 种 依赖 关系 由 从 第 一 项 任务 指向 第 二 项 任务 的 有 向 箭 
头 所 描述 。 

图 7-6 所 示 的 有 向 无 环 图 描述 了 一 个 简单 的 图 像 合成 (蒙太奇 ) THERES. SRA 
合成 图 像 的 工具 集 ， 是 专门 为 宇航 员 设计 的 ， 将 从 不 同 望远镜 或 观察 视角 获取 的 图 像 合成 为 
连续 的 拼接 图 像 。 该 工具 集 提供 了 几 种 应 用 以 进行 图 像 操作 和 拼接 ， 其 中 一 些 应 用 可 以 执行 
背景 重 置 、 视 角 转 换 及 亮度 和 色彩 的 调整 。 图 7-6 绘制 的 工作 流 描述 了 构成 一 个 蒙太奇 的 整 
体 流 程 。 右 侧 的 表示 描述 了 构成 蒙太奇 的 不 同 任务 。 整 个 流程 充分 利用 了 分 布 式 框架 的 执行 
优势 ， 对 于 每 个 图 像 文件 依次 执行 下 述 操作 : 图 像 文件 转换 ， 重 投影 ， 差 异 计算 和 共同 平面 
放置 。 每 张 图 像 可 以 分 别 并 行 上 述 任务 。 由 此 构成 一 个 分 布 式 框架 执行 工作 流 的 实例 。 


转换 模板 头 文件 
图 像 文 件 转换 


D 重 投影 

差异 计算 
共同 平面 放置 
背景 建 模 


背景 校正 
增加 图 像 到 最 终 的 马赛 殉 


注册 RLS 马赛 克 





图 7-6 蒙太奇 工作 流 


O 蒙太奇 工作 流 : http://vgrads.rice.edu/research/applications/images/montage-workflow/view - 
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在 分 布 式 框架 下 执行 工作 流 的 另 一 个 原因 是 易 实 现在 数据 本 地 化 原则 下 的 计算 任务 分 
发 。 例 如 ， 一 项 操作 需要 通过 特定 的 节点 才能 访问 相关 资源 ， 该 操作 不 能 在 其 他 节点 上 进 
行 ， 而 其 他 操作 不 具有 这 种 要 求 。 一 项 科学 实验 可 能 会 涉及 若干 任务 组 件 ， 单 个 任务 组 件 可 
能 需要 使 用 特定 设备 。 此 时 具有 这 种 约束 的 任务 需要 在 可 行 的 设备 上 执行 ,产生 了 在 原则 上 
不 完全 并 行 化 的 分 布 式 应 用 。 

2. 工作 流 技术 

面向 商用 的 计算 工作 流 被 定义 为 服务 组 合 ， 目 前 已 经 有 具体 的 语言 和 标准 可 定义 这 种 工 
作 流 ， 例 如 BPEL (业务 流程 执行 语言 ) [65] 。 在 科学 计算 领域 对 工作 流 的 定义 并 没有 形成 
共识 ， 但 也 存在 几 种 描述 语言 和 应 用 实现 [66] 。 尽 管 有 上 述 差 异 ， 仍然 可 以 为 工作 流 管理 
系统 建立 一 个 抽象 参考 模型 [67] ， 如 图 7-7 所 示 。 设 计 工 具 允 许 用 户 可 视 化 地 组 织 工作 流 
应 用 ， 这 种 配置 通过 基于 特定 工作 流 语言 的 XML 文件 的 配置 项 实现 ，XML 文件 构成 了 工 
作 流 引擎 的 输入 ， 工 作 流 引擎 利用 分 布 式 框架 来 控制 工作 流 执 行 。 大 多 数 情况 下 ， 工 作 流 引 
擎 是 一 个 客户 端 组 件 ， 可 与 资源 或 者 执行 工作 流 的 中 间 件 组 件 进行 交互 。 一 些 框 架 提 供 一 个 
能 够 处 理工 作 流 实例 的 调度 器 以 实现 对 工作 流 应 用 的 支持 。 





信息 服务 


资源 信息 服务 
$ 5 应 用 信息 服务 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


交互 式 信息 服务 | 










a 
d 


:| T Yei 
| 行 与 控制 


图 7-7 工作 流 系统 的 抽象 模型 


设计 和 实现 基于 工作 流 应 用 方面 的 一 些 相关 技术 包括 Kepler、DAGMan Cloudbus 
Workflow Management System 和 Offspring。 

Kepler [68] 是 基于 几 个 科研 项 目的 开源 科学 工作 流 引 擎 。 该 系统 在 Ptolemy II [72] 系 
统 上 构造 ，Ptolemy II 系统 为 开发 面向 数据 流 的 工作 流 提供 了 一 个 固有 平台 。Kepler 提供 了 
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一 种 基于 actor 概念 的 构造 环境 ，actor 是 独立 上 且 可 重用 的 计算 模块 ， 可 加 载 网 络 服务 、 数 
据 库 命令 等 。actor 通过 端口 通信 从 输入 端口 获取 数据 ， 并 将 处 理 结 果 和 数据 写 人 输出 端 
口 。Kepler 的 创新 在 于 利用 执行 工作 流 的 协作 逻辑 来 分 离 数 据 流 ， 因 此 ， 对 同一 个 工作 流 ， 
Kepler 提供 了 不 同 的 模式 ， 例 如 同步 和 异步 。 其 工作 流 规 范 由 XML 语言 所 描述 。 

DAGMan (有 向 无 环 图 管理 ) [69] 是 Condor[5] 项 目的 一 部 分 ， 扩 展 了 Condor 调度 
器 来 处 理 任务 内 部 的 关联 性 。Condor 能 够 为 执行 程序 分 配 设备 但 并 不 支持 一 定 序列 的 任务 
调度 。 因 此 , DAGMan 作为 Condor 系统 的 元 调度 器 可 以 将 任务 以 合适 的 次 序 提交 给 调度 器 。 
DAGMan 的 输入 文件 是 简单 文本 文件 ， 包含 了 任务 提交 文件 指针 和 任务 的 依赖 性 描述 。 

WfMS (Cloud 工作 流 管 理 系统 ) [70] 是 部 署 在 分 布 式 的 云 或 网 格 系统 上 的 用 于 处 理 大 
型 应 用 工作 流 的 中 间 件 平台 。WfMS 通过 基于 Web 的 门户 提供 相应 软件 工具 来 帮助 终端 用 
户 组 织 、 调 度 、 执 行 、 监 控 工 作 流 。 门 户 提供 了 上 传 工作 流 以 及 使 用 图 形 编辑 器 定义 新 工作 
流 的 方法 。WfMS 基于 Gridbus Broker 来 执行 工作 流 ，Gridbus Broker 是 一 种 网 格 或 云 环境 
下 的 资源 代理 器 ， 能 够 在 异 构 分 布 式 计算 环境 (如 Linux 集群 、Globus 集群 或 亚马逊 EC2 ) 
下 按照 服务 等 级 属性 执行 应 用 。WfMS 使 用 一 种 私有 XML 语言 作为 其 工作 流 规范 。 

OffSpring[71] 从 另 一 种 视角 展示 了 一 种 基于 规划 的 工作 流 开发 方式 。 使 用 者 可 以 设 定 
策略 并 将 它们 引入 具体 执行 环境 (通过 具体 的 分 布 式 引擎 来 执行 策略 )。Offspring 相对 于 其 
他 工作 流 引 警 的 优势 在 于 可 以 定义 动态 工作 流 ， 即 一 种 半 结 构 化 的 工作 流 ， 可 以 在 任务 运行 
过 程 中 改变 其 行为 。 因 而 允许 开发 者 动态 控制 任务 间 的 依赖 关系 。OffSpring 能 够 与 任何 文 
持 简 单 任 务 划分 应 用 的 分 布 式 中 间 件 集成 。 它 能 够 与 Aeka 集成 并 在 开发 过 程 中 支持 测试 策 
略 的 仿真 分 布 式 引擎 。 由 于 OffSpring 允许 以 插件 的 形式 定义 工作 流 ， 所 以 它 不 需要 使 用 任 
何 XML 语言 规范 。 


7.3 基于 任务 的 Aneka 编程 


Aneka 通过 任务 编程 模型 为 基于 任务 的 编程 提供 全 方位 支持 。 任 务 编程 通过 对 Aneka. 
Task.ITask 的 抽象 实现 。 通 过 使 用 这 种 抽象 作为 执行 遗留 的 应 用 程序 的 基础 支撑 ， 参 数 化 应 
用 程序 和 工作 流 已 经 被 集成 到 框架 中 。 本 节 介 绍 了 该 模型 的 基本 概念 ， 并 提供 了 如 何 为 所 有 
先前 讨论 的 模型 开发 应 用 程序 的 例子 


7.3.1 任务 编程 模型 


任务 编程 模型 为 在 Aneka 平台 上 快速 开发 分 布 式 应 用 程序 提供 了 一 个 非常 直观 的 抽象 。 
它 提供 了 一 个 最 小 API 集合， 大 多 集中 在 Aneka.Tasks.ITask 接口 上 。 此 接口 连同 支持 中 间 
件 中 任务 执行 的 服务 ， 构 成 了 该 模型 的 核心 功能 。 图 7-8 提供 了 在 应 用 程序 执行 时 任务 编程 
模型 组 件 及 其 相应 角色 的 整体 视图 。 
开发 人 员 创 建 了 在 ITask 实例 方面 的 分 布 式 应 用 程序 ， 其 中 集体 执行 描述 了 一 一 个 正在 
运行 的 应 用 程序 。 这 些 任务 连同 所 有 必需 的 依赖 关系 (数据 文件 和 库 文件 ) 进行 了 分 组 ， 并 
通过 AnekaApplication 类 进行 管理 ， 该 类 专门 用 于 支持 任务 的 执行 。 另外 两 个 组 成 部 分 ， 
AnekaTask 和 Task Manager， 构 成 了 一 个 基于 任务 的 应 用 程序 的 客户 端 视图 。 前 者 构成 了 
Aneka 用 来 表示 中 间 件 中 的 任务 的 运行 封装 ， 后 者 是 与 Aneka 交互 、 提 交 任 务 、 监 控 执 行 过 
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程 和 收集 结果 的 底层 组 件 。 在 中 间 件 中 ， 成 员 目 录 、 任 务 调 度 、 执 行 服务 和 存储 服务 四 项 服 
务 负责 协调 活动 ， 以 执行 基于 任务 的 应 用 程序 。 成 员 目 录 构 成 了 云 的 主要 接 人 点 ， 并 作为 一 
个 服务 目录 来 定位 任务 调度 服务 ， 任 务 调度 服务 负责 管理 基于 任务 的 应 用 程序 的 执行 。 其 主 
要 职责 是 为 任务 实例 分 配 可 用 资源 ， 这 些 资源 的 特点 是 执行 服务 ， 用 于 任务 执行 和 监测 任务 
状态 。 如 果 应 用 程序 需要 数据 文件 、 输 入 文件 或 输出 文件 形式 的 数据 传输 支持 ， 存 储 服务 可 
被 用 作 应 用 的 暂 存 设施 。 
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图 7-8 任务 编程 模型 场景 


任务 模型 提供 的 功能 通过 Web 服务 完成 ， 它 允许 任何 客户 端 将 任务 的 执行 提交 到 
Aneka。 通 过 Web 服务 提交 任务 的 步骤 与 使 用 框架 API 相 同 。 用 户 在 Aneka 上 创建 一 个 
应 用 程序 ， 并 在 该 应 用 程序 中 提交 任务 。Web 服务 限制 了 可 以 提交 任务 的 类 型 ， 只 有 有 
限 的 任务 集合 可 用 于 提交 。 尽 管 这 样 ， 这 些 任务 还 是 包括 了 其 他 分 布 式 计算 系统 中 常见 的 
功能 。 


7.3.2 用 任务 模型 开发 应 用 


基于 任务 的 应 用 程序 的 执行 涉及 多 个 组 件 ， 这 些 应 用 的 开发 受 以 下 操作 的 限制 : 

e 定义 类 实现 ITask 接口 。 

e 创建 一 个 正确 配置 的 AnekaApplication 实例 。 

e 创建 ITask 实例 并 将 其 封装 到 AnekaTask 实例 中 。 

® 执行 应 用 程序 并 等 待 其 完成 。 

而 且 ， 从 设计 的 角度 来 看 ， 定 义 一 个 任务 应 用 程序 的 过 程 最 终 压 缩 为 定义 实现 ITask 的 
类 ， 这 将 有 助 于 减轻 由 应 用 程序 生成 的 工作 负荷 。 

1. Task 和 AnekaTask 

几乎 所 有 用 于 在 Aneka 上 开发 基于 任务 的 应 用 程序 的 客户 端 功能 都 包含 在 Aneka. Tasks 
命名 空间 ( Aneka.Tasks.dll) 中 。 设 计 任务 最 重要 的 部 分 是 ITask 接口 ， 这 在 程序 7-1 中 定 
义 。 此 接口 只 公开 一 个 方法 : 执行 。 在 远程 节点 上 执行 任务 时 将 会 调用 该 方法 。 
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程序 7-1 ITask 接口 





namespace Aneka.Tasks 
{ 
///<summary> 
///Interface ITask. Defines the interface for implementing a task. 
///</summary> 
public interface ITask 
{ 
///<summary> 
'//Executes the sine function. 
///</summary> 
public void Execute():; 


ITask 接口 提供 了 一 个 编程 方案 ， 用 于 开发 本 地 任务 ， 即 NET 框架 支持 的 由 任何 编程 
语言 实现 的 任务 。 不同 于 实施 ITask 接口 ， 实 施 任务 类 的 限制 是 最 小 的 ， 自 任务 实例 被 创建 
且 在 网 络 上 移动 开始 ， 它 们 就 需要 被 序列 化 。 程 序 7-2 描述 了 一 个 简单 的 任务 类 的 实现 ,能 
计算 出 对 于 给 定点 x 的 高 斯 分 布 。 


程序 7-2 ”ITask 接口 实现 


File: GaussTask.cs 
using System 
asing Anexa.Tasxs 
maemespace GaussSampie 
<summary> 
pu -= ae mm T- 一 3 - = i . - = + . 
CiaSS GaussTes Implements the ITask interface for computing the Gauss function. 
summary> 
Serializabie] 
pubiic class GaussTask ITås 


<summary> 
Input value 
</summary> 

private double » 
<summary> 
Gets the input value of the Gauss function. 
</Sutmiary- 


public double X { get { return this.x; } set { this.x = value; } } 


s the result value of the Gauss function. 
~ fw 
public double ¥ { get i return this.y; } set { this.y = value; } } 


<summary> 
j Executes the Gauss function. 
1 </summary> 
public void Execute() 
{ 
this.y = Math.Expl-this.x*this.x); 
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ITask 提供 了 关于 如 何 实现 一 个 任务 类 和 从 正在 运行 的 封装 类 中 解 看 任务 的 特定 操 
作 的 最 小 限制 。 这 由 AnekaTask 类 来 完成 ， 该 类 代表 了 支持 Aneka 应 用 程序 模型 API 的 
任务 实例 。 这 个 角色 由 AnekaTask 类 扮演 ， 它 代表 与 Aneka 应 用 程序 模型 API 相 一 致 的 
任务 实例 。 这 个 类 扩展 了 Aneka.Entity.WorkUnit 类 ， Ff HE AE T tte A [Task 实例 的 功能 。 
AnekaTask 主要 是 内 部 使 用 ， 并 为 最 终 用 户 提供 了 用 于 指定 任务 的 输入 和 输出 文件 的 
设施 。 

程序 7-3 说 明了 如 何 将 一 个 ITask 实例 封装 到 AnekaTask 中 ， 也 说 明了 如 何 将 输入 
和 输出 文件 添加 到 给 定 任务 。 任 务 编程 模型 利用 了 WorkUnit 类 中 的 文件 管理 功能 ， 这 是 
从 AnekaTask 类 继承 而 来 的 ， 正 如 我 们 提出 Aneka 应 用 程序 模型 时 所 讨论 的 ( 见 第 5 章 )。 
WorkUnit 有 两 类 文件 集合 : InputFiles 和 OutputFiles。 开 发 人 员 可 以 将 文件 添加 到 这 些 集合 
中 ， 运 行 环境 会 自动 将 这 些 文件 移 到 需要 它们 的 地 方 。 输 入 文件 将 被 上 传 到 Aneka 云 并 移 
动 到 执行 任务 的 远程 节点 ， 输 出 文件 将 从 执行 节点 收集 数据 并 将 其 移动 到 本 地 计算 机 或 远程 
FTP IRI AF 

程序 7-3 

// create a Gauss task and wraps it into an AnekaTaskinstance 

GaussTaskgauss = new GaussTask () ; 

AnekaTask task = newAnekaTask (gauss) ; 

// add one input and one output files 


task.AddFile("input.txt", FileDataType.Input, FileAttributes.Local) ; 
task.AddFile("result.txt", FileDataType.Output, FileAttributes.Local) ; 


2. 控制 任务 执行 

任务 类 和 AnekaTask 定义 了 基于 任务 的 应 用 程序 的 计算 逻辑 ， 而 AnekaApplication 类 提 
供 了 用 于 实现 应 用 程序 的 协调 逻辑 的 基本 特征 。 

AnekaApplication 是 可 以 用 于 文 持 不 同 的 编程 模型 的 通用 类 。 在 任务 编程 中 ， 假定 形式 
为 AnekaApplication<AnekaTask，TaskManager>。 所 提供 的 能 用 于 任务 模型 以 及 其 他 编程 模 
型 的 操作 是 : 

e 静态 和 动态 任务 提交 。 

© 应 用 程序 状态 和 任务 状态 监测 。 

e 任务 完成 或 失败 的 事件 通知 。 

通过 将 这 些 特征 组 合 在 一 起 ， 可 以 定义 执行 特定 任务 应 用 程序 所 需要 的 逻辑 。 静 态 提 交 
是 任务 型 应 用 程序 中 非常 常见 的 模式 ， 它 涉及 所 有 任务 的 创建 ， 这 些 任务 都 需要 在 一 个 循环 
中 执行 ， 并 作为 一 个 单一 的 包 提 交 。 更 多 复杂 的 任务 提交 策略 都 需要 实施 基于 工作 流 的 应 用 
程序 ， 其 中 任务 的 执行 是 通过 它们 之 间 的 依赖 关系 确定 的 。 在 这 种 情况 下 ， 动 态 提交 任务 是 
一 种 更 有 效 的 技术 ， 涉 及 任务 的 提交 ， 即 AnekaApplication 类 中 实现 基于 事件 的 通知 机 制 的 
结果 。 

程序 7-4 说 明了 如 何 通 过 静态 提交 方案 将 400 个 高 斯 任务 作为 一 个 包 来 创建 和 提 
区 。AnekaApplication 类 包含 所 有 已 提交 的 用 于 执行 的 任务 的 集合 。 每 个 任务 可 以 通过 
唯一 标识 符 ( WorkUnit.Id) 检索 得 到 ， 该 标识 符 由 应 用 程序 类 中 使 用 的 索引 操作 符 [] 产 
生 。 在 静态 提交 的 情况 下 ， 这 些 任务 将 被 添加 到 该 应 用 程序 ， 并 且 调 用 SubmitExecution() 


方法 。 
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程序 7-4 ”静态 提交 


/ get an instance of the Configuration class from file 
Configuration conf = Configuration.GetConfiguration("“conf.xml") ; 
/ specify that the submission of task is static (all at once) 
conft.SingleSubmission = true; 
AnekaApplication<AnekaTask, TaskManager> app = 


. 


new AnekaApplication<Task, TaskManager> (conf); 


for(int 1=0; 1<400; i++) 
GaussTaskgauss = new GaussTask(); 
g Xx =i 


auss. 
AnekaTask task = new AnekaTask (gauss); 

add the task to the bag of work units to submit 
app .AddWorkunit (task); 


另 一 种 情况 是 动态 提交 ， 其 中 任务 提交 是 由 在 执行 过 程 中 发 生 的 其 他 事件 完成 的 ， 例 
如 ， 先 前 提交 的 任务 完成 、 失 败 或 其 他 与 Aneka 产生 的 作用 不 相关 的 情况 。 在 这 种 情况 下 ， 
开发 人 员 在 选择 最 合适 的 任务 提交 策略 上 有 很 大 的 自由 度 。 例 如 ， 任 务 的 初始 包 可 能 如 程序 
7-4 中 所 述 的 那样 被 提交 ， 接 着 ， 某 些 任务 的 完成 会 导致 其 他 任务 的 生成 和 提交 。 为 了 实现 
此 方案 、 有 必要 依靠 由 AnekaApplication 类 提供 的 基于 事件 的 通知 系统 ， 并 且 根 据 引 发 的 特 
定 事 件 来 者 发 任务 提交 - 具体 而 言 ， 我 们 感 兴趣 的 是 WorkUnitFailed 和 WorkUnitCompleted 
事件 . 

程序 7-5 扩展 了 前 面 的 例子 ， 并 实现 了 动态 任务 提交 策略 ， 用 于 提炼 高 斯 分 布 的 计算 。 
其 中 静态 和 动态 任务 提交 策 栈 都 有 应 用 : 包含 400 个 高 斯 任务 的 初始 包 被 提交 到 Aneka, X 
些 任务 一 完成 ， 就 会 提交 计算 分 布 中 间 值 的 新 任务 。 为 了 捕捉 故障 并 完成 任务 ， 有 必要 听从 
WorkUnitFailed 和 WorkUnitFinished 事件 。 该 事件 要 求 方法 有 一 个 对 象 参数 (对 于 所 有 事件 
句柄 )、 包 含 应 用 程序 实例 和 WorkUnitEventArgs<AnekaTask> 参数 ， 人 参数 中 包含 用 于 触发 事 
件 的 关于 WorkUnit 的 信息 。 这 个 类 公开 了 WorkUnit 属性 ， 即 如 果 不 为 null， 将 进入 相应 的 
任务 实例 .对 于 任务 失败 的 事件 .句柄 将 简单 地 告知 控制 台 任 务 已 失败 ， 如 果 可 能 的 话 ， 还 
会 附带 上 错误 的 相关 信息 。 对 于 任务 完成 后 的 检查 事件 ， 无 论 在 原始 包 中 任务 完成 是 否 被 提 
交 ， 句 柄 都 会 使 用 ExecuteWorkUnit ( AnekaTask 任务 ) 方法 提交 另 一 项 任务 。 为 了 将 初始 
包 中 提交 的 任务 和 其 他 任务 进行 区 分 ， 需要 用 到 GaussTask.X 的 值 。 如 果 义 包含 不 带 小 数 
位 的 值 ， 它 就 是 一 个 初始 任务 ， 否 则 就 不 是 初始 任务 。 


程序 7-5 ”动态 任务 提交 


<summary> 
Main method for submitting tasks. 
</summary> 

public void SubmitApplication() 


' get an instance of the Configuration class from file 
Configuration conf = Configuration.GetConfiguration ("conf.xml"); 

/ specify that the submission of task is dynamic 
conf.SingleSubmission = false; 
AnekaApplication<AnekaTask, TaskManager> app = 

new AnekaApplication<Task, TaskManager> (conf); 
/ attach methods to the event handler that notify the client code 
when tasks are completed or failed 
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app.WorkUnitFailed += 
new EventHandler<WorkUnitEventArgs<AnekaTask>>(this.OnWorkUnitFailed) ; 


app.WorkUnitFinished += 
new EventHandler<WorkUnitEventArgs<AnekaTask>>(this.OnWorkUnitFinished) ; 
for(int i=0; i<400; i++) 
{ 
GaussTask gauss = new GaussTask(); 
gauss.X = i; 
AnekaTask task = newAnekaTdask (gauss); 
// add the task to the bag of work units to submit 
app.AddWorkunit (task); 
} 
// submit the entire bag 
app.SubmitExecution (); 
} 
/// <summary> 
/// Event handler for task failure. 
/// </summary> 
/// <param name="sender">Event source: the application instance.</param> 
/// <param name="args">Event arguments.</param> 
private void OnWorkUnitFailed(object sender, WorkUnitEventAras<AnekaTask>arqs) 
{ 
// do nothing, we are not interested in task failure at the moment 
// just dump to console the failure. 
if (args.WorkUnit != null) 
{ 
Exception error = args.WorkUnit.Exception; 
Console .WriteLine ("Task {0} failed 一 Exception: {1}", 
args.WorkUnit.Name, (error == null ? “[Not given)" : error.Message); 


} 
/// <summary> 
/// Event handler for task completion. 
/// </summary> 
/// <param name="Sender">Event source: the application instance.</param> 
/// <param namé="args">Event arguments .</param> 
private void OnWorkUnitFinished(object sender, WorkUnitEventArgs<AnekaTask> args) 
| 
// if the task is completed for sure we have a WorkUnit instance 
// and we do not need to check as we did before. 
GaussTask gauss = (GaussTask) args.WorkUnit.Task; 
// we check whether it is an initially submitted task or a task 
// that we submitted as a reaction to the completion of another task 
if (task.X - Math.Abs(task.X) == 0) 
{ 
// ok it was an original task, then we increment of 0.5 the 
// value of X and submit another task 


GaussTask fraq = GaussTask(); 
fraq.X = gauss.X + 0.5; 
AnekaTask task =new AnekaTask(fraq) ; 


// we call the ExecuteWorkUnit method that is used 
// for dynamic submission 
app. ExecuteWorkUnit (task); 
} 
Console.WriteLine("Task {0) completed - [X:{1},Y:{2}]", 
args.WorkUnit.Name, gauss.X, gauss.yY); 


5 


静态 和 动态 提交 会 影响 应 用 程序 申请 终止 条 件 的 方式 。 静 态 提交 时 ， 申 请 条 件 的 确定 是 
自动 的 : 当 所 有 最 初 提 交 的 任务 失败 或 完成 时 ， 应 用 程序 将 被 终止 。 在 这 种 情况 下 ， 可 以 通 
过 将 该 应 用 程序 配置 中 的 SingleSubmission 标志 设置 为 true 来 进行 激活 。 这 使 得 程序 在 运行 
时 能 自动 判断 应 用 程序 是 否 完成 。 动 态 提交 时 ， 和 运行 时 不 能 确定 应 用 程序 的 终止 ， 因 为 它 始 
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终 有 可 能 提交 新 的 任务 。 在 这 种 情况 下 ， 就 需要 开发 者 在 适当 的 时 候 调用 StopExecution 方 
法 来 告诉 应 用 程序 什么 时 候 终 止 应 用 程序 。 

设计 应 用 程序 的 协调 逻辑 时 ， 需 要 注意 的 是 ， 任 务 的 提交 标识 着 异步 执行 模式 ， 这 意味 
着 ， 当 提交 的 任务 完成 时 ， 方法 SubmitExecution 以 及 方法 ExecuteWorkUnit 返回 结果 ,但 
不 是 任务 实际 执行 完成 。 这 就 要 求 开 发 人 员 将 正确 的 同步 逻辑 放 在 合适 的 位 置 ， 以 便 应 用 
程序 的 主线 程 处 于 等 待 状态， 直到 所 有 任务 终止 上 且 应 用 程序 完成 。 这 种 行为 可 以 通过 使 用 
System.Threading 命名 空间 提供 的 同步 API 来 实现 : System.Threading.AutoResetEvent 或 
System.Threading.ManualResetEvent。 这 两 个 API 连同 最 小 的 逻辑 ， 计 算 所 有 被 收集 的 任 
务 ， 并 目 一 旦 所 有 任务 终止 ， 将 会 通知 主线 程 (通过 调用 方法 WaitHandle. Wait() 使 其 处 于 等 
待 状态 )。 它 也 可 以 提供 适当 的 用 于 管理 应 用 程序 的 执行 流程 所 和 需 的 基础 设施 。 程 序 7-6 提 
供 了 一 个 完整 的 任务 提交 程序 ， 实 现 了 动态 提交 和 相应 的 同步 迎 辑 。 


程序 7-6 ”高 斯 应 用 


using Aneka.Entity; 


Aneka.Tasks; 


L 

b= 

“ 
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namespace GaussSample 


<summary> 
Class GaussApp. Defines the coordination logic of the 
/ distributed application for computing the gaussian distribution. 
ffi </summary> 
public class GaussApp 
{ 
<summary> 
' Semaphore used to make the main thread wait while 
/ all the tasks are terminated. 
上 </summary> 
private ManualResetEvent semaphore; 
/// <summary> 
tj} Counter of the running tasks. 
/// </summary> 
private int taskCount = 0; 
/// <summary> 
/ Aneka application instance. 
/// «</summary> 
private AnekaApplication<AnekaTask, TaskManager> app; 


/// <summary> 
/// Main entry point for the application. 
/// </summary> 
/// «param name="args"*>An array of strings containing the command line.</param> 
public static void Main(string[] args) 
{ 
try 


{ 
// initialize the logging system 


Logger.Start(); 


string confFile = “*conf.xml"; 
if (args.Length > 0) 
{ 
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confFile = args[0]; 
} 
// get an instance of the Configuration class from file 
Configuration conf = Configuration.GetConfiguration(confFile) ; 
// create an instance of the GaussApp and starts its execution 
// with the given configuration instance 
GaussApp application = new GaussApp(); 
application.SubmitApplication(conf) ; 
} 
catch (Exception ex) 
{ | 
TOUtil.DumpErrorReport(ex, "Fatal error while executing application."); 
} 
finally 
{ 
// terminate the logging thread 
Logger .Stop() ; 


} 


/// <summary> 
/// Application submission method. 
/// </summary> 
/// <param name="conf">Application configuration. </param> 
public void SubmitApplication(Configuration conf) 
{ 
// initialize the semaphore and the number of 
// task initially submitted 
this.semaphore = new ManualResetEvent (false) ; 
this.taskCount = 400; 


// specify that the submission of task is dynamic 
conf.SingleSubmission = false; 
this.app = new AnekaApplication<Task, TaskManager> (conf) ; 
// attach methods to the event handler that notify the client code 
// when tasks are completed or failed 
this.app.WorkUnitFailed += 
new EventHandler<WorkUnitEventArgs<AnekaTask>>(this.OnWorkUnitFailed) ; 
this.app.WorkUnitFinished += 
new EventHandler<WorkUnitEventArgs<AnekaTask>>(this.OnWorkUnitFinished) ; 


// attach the method OnAppFinished to the Finished event so we can capture 

// the application termination condition, this event will be fired in case of 
// both static application submission or dynamic application submission 
app.Finished += new EventHandler<ApplicationEventArgs>(this.OnAppFinishedg) ; 


for(int i=0; i<400; i++) 
{ 
GaussTask gauss = new GaussTask() ; 
gauss.X = i; 
AnekaTask task = newAnekaTask (gauss) ; 
// add the task to the bag of work units to submit 
app .AddWorkunit (task); 
} 
// submit the entire bag 
app.SubmitExecution() ; 


// wait until signaled, once the thread is signaled the application is completed 
this.semaphore.Wait(); 
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/// <summary> 
/// Event handler for task failure. 
/// </summary> 
/// <param name="sender">Event source: the application instance.</param> 
/// <param name="args">Event arguments.</param> 
private void OnWorkUnitFailed(object sender, WorkUnitEventArgs<AnekaTask> args) 
{ 
// do nothing, we are not interested in task failure at the moment 
// just dump to console the failure. | 
if (args.WorkUnit != null) 
{ 
Exception error = args.WorkUnit.Exception; 
Console.WriteLine("Task {0} failed - Exception: {1}", 
args .WorkUnit.Name, 
(error == null ? “[Not given]" : error.Message) ; 
} 
// we do not have to synchronize this operation because 
// events handlers are run all in the same thread, and there 
// will not be other threads updating this variable 


this.taskCount--; 
if (this.taskCount == 0) 
{ 
this.app.StopExecution(); 


} 
/// <summary> 
/// Event handler for task completion. 
/// </summary> 
/// <param name="sender">Event source: the application instance.</param> 
/// <param name="args">Event arguments.</param> 
private void OnWorkUnitFinished(object sender, WorkUnitEventArgs<AnekaTask> args) 
{ 
// we do not have to synchronize this operation because 
// events handlers are run all in the same thread, and there 
// will not be other threads updating this variable 
this.taskCount--; 


// if the task is completed for sure we have a WorkUnit instance 

// and we do not need to check as we did before. 

GaussTask gauss = (GaussTask) args.WorkUnit.Task; 

// we check whether it is an initially submitted task or a task 

// that we submitted as a reaction to the completion of another task 
if (task.X - Math.Abs(task.X) == 0) 


{ 
// ok it was an original task, then we increment of 0.5 the 


// value of X and submit another task 

GaussTask fraq = GaussTask() ; 

fraq.X = gauss.X + 0.5; 

AnekaTask task =new AnekaTask(fraq) ; 
this.taskCount++; 
// we call the ExecuteWorkUnit method that is used 
// for dynamic submission 
app.ExecuteWorkUnit (task) ; 


} 

Console.WriteLine("Task {0} completed - [X:{1},Y¥:{2}]", 
args.WorkUnit.Name, gauss.X, gauss.Y); 

if (this.taskCount == 0) 


{ 
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this.app.StopExecution() ; 
} 
} 
/// <summary> 
/// Event handler for the application termination. 
/// </summary> 
/// <param name="Sender">Event source: the application instance.</param> 
/// <param name="args">Event arguments.</param> 
private void OnWorkUnitFinished(object sender, ApplicationEventArgs args) 
{ 
// unblock the main thread, because we have identified the termination 
// of the application 
this.semaphore.Set(); 


} 


上 述 程序 提供 了 GaussApp 类 的 完整 定义 ， 其 中 包含 应 用 程序 的 主人 口 点 ， 这 是 一 个 用 
于 控制 已 实现 的 应 用 程序 执行 的 非常 简单 的 逻辑 。GaussApp 应 用 程序 通过 使 用 taskCount 
字段 来 追踪 当前 运行 的 任务 数量 。 当 这 个 值 达 到 零 时 ， 没 有 更 多 的 任务 等 待 执 行 ， 通 过 调 
用 StopExecution， 应 用 程序 停止 执行 。 此 方法 触发 ApplicationFinished 事件 ， 该 事件 句柄 
(OnApplicationFinished) 通过 信号 量 来 疏导 主 线程 。taskCount 的 初始 值 为 400， 这 是 任务 初 
始 包 的 大 小 。 每 当 任务 失败 或 完成 一 次 ， 这 个 值 减 小 一 个 单位 ; 如 果 有 一 个 新 的 任务 提交 ， 
该 字段 增加 一 个 单位 。 在 这 两 个 事件 句柄 ( OnWorkUnitFailed 和 OnWorkUnitFinished) 的 最 
Ja, Xf taskCount 的 值 进行 检查 ， 看 它 是 否 等 于 零 ， 以 及 是 否 有 必要 停止 应 用 程序 。 可 以 看 
到 ， 除 了 使 用 ManualResetEvent， 不 需要 其 他 同步 结构 。 因 为 操纵 taskCount 值 的 代码 在 一 
个 单一 的 线程 中 执行 ， 在 递增 或 递减 值 时 不 会 有 其 他 事件 对 值 产生 影响 。 

控制 任务 应 用 程序 的 执行 需要 考虑 的 最 后 一 个 方面 是 重新 提交 策略 。 上 默认 情况 下 ， 应 
用 程序 的 配置 中 将 重新 提交 策略 设置 为 手动 模式 。 这 意味 着 如 果 在 任务 执行 过 程 中 由 于 异 
党 而 导致 任务 失败 ， 任 务实 例 将 被 发 送 回 客户 端 应 用 程序 ， 并 且 如 果 必 要 的 话 需 要 开发 
人 员 重 新 提交 任务 。 在 自动 重新 提交 的 模式 下 ，Aneka 将 一 直 重 新 提交 任务 ， 直 到 达到 党 
试 的 最 大 次 数 为 止 。 如 果 任 务 一 直 失 败 ， 任 务 失败 事件 将 会 被 触发 。 这 个 属性 可 以 通过 将 
Configuration.ResubmitMode 设置 为 ResubmitMode.Manual 或 ResubmitMode.Auto 进行 控 
制 。 如 前 所 述 ， 此 属性 默认 设置 为 ResubmitMode.Manual。 

3. 文件 管理 

基于 任务 的 应 用 程序 通常 通过 人 处理 文件 来 执行 操作 。 正 如 我 们 已 经 讨论 过 的 ， 文件 可 
能 包括 任务 的 输入 数据 、 计 算 结 果 ， 还 可 能 代表 可 执行 代码 或 函数 库 的 依赖 。 因 此 ， 为 
基于 任务 的 应 用 程序 提供 文件 传输 功能 是 必 不 可 少 的 。Aneka 提供 了 在 分 布 式 基础 设施 
中 进行 文件 管理 的 内 置 功能 ， 显 然 任务 编程 模型 利用 了 这 些 功能 。 任 何 基于 WorkUnit 和 
ApplicationBase 类 的 模型 都 支持 文件 管理 。 它 可 以 利用 WorkUnit.InputFiles 和 WorkUnit. 
OutputFiles 集合 通过 ApplicationBase.SharedFiles 集合 提供 适用 于 所 有 WorkUnit 实例 的 输 
入 文件 ， 也 可 以 提供 特定 实例 的 输入 和 输出 文件 。 

文件 管理 的 一 个 基本 组 成 部 分 是 FileData 类 ， 它 构成 了 物理 文件 的 逻辑 表示 、 正如 
Aneka.Data.Entity 命名 空间 ( Aneka. Data.dll) 中 所 定义 的 。FileData 实例 提供 如 下 有 关 文 件 
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的 信息 : 

e 性 质 : 是 否 是 共享 文件 、 输 入 文件 或 输出 文件 。 

o 在 本 地 和 远程 文件 系统 中 的 路 径 ， 包括 不 同 的 名 字 。 

。 一 个 提供 其 他 信息 的 属性 集合 (例如 文件 的 最 终 目 的 地 以 及 文件 是 否 是 暂 存 的 ， 

等 等 )。 

使 用 FileData 类 ， 用 户 可 以 指定 任务 的 文件 相关 性 和 应 用 程序 ， 并 且 在 需要 时 Aneka 
API 会 目 动 将 它们 转移 到 Aneka 云 或 从 Aneka 云 中 转移 出 来 。Aneka 人 允许 指定 本 地 文件 或 保 
存在 FTP 服务 器 或 亚马逊 S3 上 的 远程 文件 。 一 个 FileData 实例 必须 有 三 个 要 素 : 所 有 者 ， 
名 称 和 类 型 。 通 过 相应 的 ID， 所 有 者 确定 哪些 是 需要 文件 的 计算 元 件 : 应 用 实例 或 工作 单 
位 。 类 型 指定 了 文件 是 共享 文件 、 输 入 文件 或 输出 文件 ， 名 称 表 示 对 应 物理 文件 的 名 称 。 

程序 7-7 演示 了 如 何 将 文件 的 依赖 关系 添加 到 应 用 程序 和 任务 中 。 它 可 以 同时 添加 
FileData 实例 ， 从 而 对 文件 信息 具有 更 大 的 控制 权 ， 或 使 用 更 直观 的 方式 ， 这 种 方式 仅仅 需 
要 文件 的 名 称 和 类 型 。 


程序 7-7 文件 依赖 管理 


// get an instance of the Configuration class from file 
Configuration conf = Configuration.GetConfiguration("conf.xml"); 
AnekaApplication<Task,TaskManager>app =new AnekaApplication<Task, TaskManager> (conf); 


// attach shared files with different methods by using the FileData class and directly 
/ using the API provided by the AnekaApplication class 


// create a local shared file whose local and remote name is "pi.tab" 
FileDatapiTab = newFileData("pi.tab",FileDataType.Shared) ; 

app .AddSharedFile(piTab) ; 

// once the file is added to the collection of shared files, its OwnerId property 
// references app.Id 


// create a remote shared file by specifying the attributes whose name is "pi.dat" 
FileDatapiDat = newFileData("pi.dat",FileDataType.Shared, FileAttributes.None) ; 

// the StorageBucketId property points a specific configuration section that is 

// used to store the information for retrieving the file from the remote server 
piDat.StorageBucketId = "FTPStore"; 

app .AddSharedFile(piDat) ; 

// once the file is added to the collection of shared files, its OwnerId property 
// references app.Id 


// adds a local shared file 
app .AddSharedFile("pi.xml") ; 


for(int i=0; i<400; i++) 

{ 
GaussTask gauss = new GaussTask(); 
gauss.X = i; 
AnekaTask task = newAnekaTask (gauss) ; 


// adds a local input file for the current task whose name is "<i>.txt" 
// where <i> is the value of the loop variable 

FileData input = new FileData(string.Format("{0}.txt", i); 
FileDataType.Input, FileAttributes,.Local) ; 

// once transferred to the remote node, the file will have the name 

// "input.txt". Since tasks are executed in separate directories there 


// will be no name clashing 
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input.VirtualPath ="input.txt"; 

task. AddFile(input) ; 

// once the file is added to the task, it will be stored in the InputFiles 
// collection and its OwnerlId property will referenced task.Id 


// adds anoutput file for the current task whose name is "out.txt" that will 
// be stored on S3 


FileData output =new FileData("out.txt", FileDataType.Input, FileAttributes.None) ; 


// once transferred to the remote server, the file will have the name 

// “<i>.out"where <i> is the value of the loop variable. In this way we 

// easily avoid name clashing while storing output files into a single 

// directory 

output.VirtualPath =string.Format("({0}.out", i); 

output.StorageBucketId = "S3Store"; 

task.AddFile (output) ; 

// once the file is added to the task, it will be stored in the InputFiles 
// collection and its OwnerlId property will referenced task.Id 


// adds a localoutput file for the current task whose name is "trace.log". 
// The file is optional, this means that if after the execution of the task the 


// is not present no exception or task failure will be risen. 

FileData trace =new FileData("trace.log", FileDataType.Input, 
FileAttributes.Local | FileAttributes.Optional) ; 

// once transferred to the local machine, the file will have the name 
// “<i>.log"where <i> is the value of the loop variable. In this way we 
// easily avoid name clashing while storing output files into a single 
// directory 

trace.VirtualPath =string.Format("{0}.log", i); 

task.AddFile (trace); 

// once the file is added to the task, it will be stored in the InputFiles 
// collection and its OwnerId property will referenced task.Id 


// add the task to the bag of work units to submit 
app.AddWorkunit (task) ; 


// submit the entire bag, files will be moved automatically by the Aneka APIs 
app.SubmitExecution (); 


文件 管理 的 一 般 交互 流程 如 下 : 


一 旦 提交 应 用 程序 ， 共 享 文件 就 被 上 传 到 Aneka 云 中 。 


file 





如 果 文 件 是 本 地 的 ， 它 将 在 由 Configuration.Workspace 确定 的 目录 位 置 中 搜索 得 到 ; 
如 果 文 件 是 远程 的 ， 使 用 FileData.StorageBucketld 映射 的 特定 配置 设置 可 以 访问 远 


程 服务 顺和 文件 内 容 。 
如 果 上 传输 入 文件 失败 ， 应 用 程序 会 被 终止 并 显示 错误 。 
对 于 应 用 程序 的 每 个 任务 ， 相 应 的 输入 文件 会 被 上 传 到 Aneka 云 上 。 


一 且 任 务 被 调度 到 远程 节点 上 执行 ， 运 行 时 应 用 程序 的 所 有 共享 文件 和 任务 的 输入 


文件 将 被 传送 到 任务 的 工作 目录 ， 并 且 ， 如 果 FileData.VirtualPath 属性 不 为 空 


们 将 会 被 重新 命名 。 


任务 执行 后 ， 运 行 时 刻 会 寻找 所 有 已 添加 到 WorkUnit.OutputFiles 集合 的 文件 。 


它 


如 


果 不 为 空 ， 则 FileData.VirtualPath 属性 的 值 将 被 用 于 查找 文件 ， 和 否则，FileData. 


FileName 属性 将 作为 参考 。 需 要 存在 不 包含 FileAttributes.Optional 属性 的 文件 ， 


则 ， 认 为 该 任务 执行 失败 。 


T 
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e 不 党 任务 执行 成 功 或 失败 ， 运 行 时 刻 都 尝试 将 所 有 找到 的 文件 收集 并 移动 到 各 
目的 目的 地 。 包 含 FileAttributes.Local 属性 的 文件 都 从 文件 保存 的 目录 位 置 ( 由 
Configuration.Workspace 标识 ) 移动 到 本 地 计算 机 上 。 设 置 了 StorageBucketld 属性 
的 文件 将 被 上 传 到 相应 的 远程 服务 器 上 。 

用 于 文件 管理 的 基础 设施 为 数据 的 移动 提供 了 透明 的 和 可 扩展 的 服务 。 文 件 管理 的 结构 
基于 工 和 存储 桶 的 概念 。 工 厂 ， 即 IFileTransferFactory， 是 用 来 抽象 客户 机 的 创建 以 及 用 
于 文件 传输 的 服务 组 件 的 组 成 部 分 ， 它 使 整个 架构 通过 接口 就 能 工作 而 不 需要 特定 的 实施 方 
却 。 奇 储 桶 是 通过 配置 文件 来 区 分 这 些 组 件 的 字符 串 属性 的 集合 ， 在 提交 应 用 程序 之 前 ， 由 
用 户 或 配置 文件 指定 或 者 通过 编程 方式 将 此 信息 添加 到 配置 对 象 。 通 过 StorageService 使 用 
T) 可 以 提取 出 远程 输入 和 共享 文件 ， 并 得 到 远程 输出 文件 。 

程序 7-8 所 示 为 一 个 简单 配置 文件 ， 其 中 包含 通过 FTP 和 S3 协议 来 访问 远程 文件 的 所 
atk. TE <Groups> 标签 内 ， 有 一 个 名 为 StorageBuckets 的 特定 组 ， 该 组 维护 每 个 在 文件 
传输 中 需要 使 用 到 的 存储 桶 的 配置 设置 。 每 个 <Group> 标签 代表 一 个 存储 桶 ， 并 且 name 属 
性 包含 在 FileData.StorageBucketId 属性 中 。 每 个 组 的 内 容 都 取决 于 所 使 用 的 存储 桶 的 类 型 ， 
这 是 由 Scheme 属性 标识 的 。 这 些 值 被 用 于 FTP 和 S3 协议 的 取决 实现 ， 以 此 来 访问 远程 服 
Fy ae Fl fH OCF 


程序 7-8 Aneka 应 用 配置 文件 


<?xmlversion="1.0"encoding="utf-8"?> 
<Aneka> 
<UseFileTransfer value="true" /> 
<Workspace value="." /> 
<SingleSubmission value="false" /> 
<ResubmitMode value="Manual"” /> 
<PollingTime value="1000" /> 
<LogMessages value="true" /> 
<SchedulerUri value="tcp://localhost:9090/Aneka"/> 
<UserCredential type="Aneka.Security.UserCredentials" assembly="Aneka.dll"> 
<UserCredentials username="Administrator" password=""/> 
</UserCredential> 
<Groups> 
<Group name="StorageBuckets”"> 
<Groups> 
<Group name="FTPStore"> 
<Property name="Scheme" value="ftp"/> 
<Property name="Host" value="www.remoteftp.org"/> 
<Property name="Port" value="21"/> 
<Property name="Username" value="anonymous"/> 
<Property name="Password" value="nil"/> 
</Group> 
<Group name="S3Store”> 
<Propertyname="Scheme” value="S3"/> 
<Propertyname="Host"value="www.remoteftp.org"/> 
<Propertyname="Port "“value="21"/> 
<Propertyname="Username"value="anonymous"/> 
<Propertyname="Password"*value="nil"/> 
</Group> 
</Groups> 
</Group> 
</Groups> 


</Aneka> 
ee «er ee eee 
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4. 任务 库 

Aneka 提供 了 一 组 现成 的 任务 ， 用 于 执行 远程 文件 管理 的 最 基本 操作 。 这 些 任务 是 
Aneka.Tasks.BaseTasks 命名 空间 ( Aneka.Tasks.dll 库 的 一 部 分 ) 的 组 成 部 分 。 下 面 的 操作 可 
实现 : 

© 文件 复制 。LocalCopyTask 执行 远程 节点 上 的 文件 副本 ， 它 将 一 个 文件 作为 输入 ， 并 
在 不 同 的 名 称 或 路 径 下 产生 它 的 一 个 副本 。 
传统 应 用 程序 的 执行 。ExecuteTask 允许 使 用 System.Diagnostics.Process 类 执行 
外 部 和 传统 应 用 程序 。 它 需要 运行 可 执行 文件 的 位 置 ， 还 可 以 指定 命令 行 参数 。 
ExecuteTask 还 收集 执行 应 用 程序 产生 的 标准 错误 和 标准 输出 。 
替代 操作 。SubstituteTask 通过 将 生成 的 文件 以 一 个 不 同 的 名 字 保 存 ， 来 执行 一 个 给 
定 文件 的 搜索 和 车 换 操 作 。 它 可 以 指定 基于 字符 串 的 名 称 - 值 对 的 集合 来 表示 搜索 
的 字符 串 及 其 相应 的 替换 。 
文件 删除 。DeleteTask 通过 远程 节点 上 的 文件 系统 删除 可 访问 文件 。 
定时 延迟 。WaitTask 引入 定时 延迟 。 这 个 任务 可 以 在 多 种 情况 下 使 用 ， 例 如 ， 它 可 
用 于 分 析 或 何 单 地 用 于 仿真 执行 过 程 。 此 外 ， 如 果 需 要 的 话 ， 它 也 可 以 用 于 在 两 个 
应 用 程序 的 执行 之 间 引 入 停顿 。 
任务 合成 。CompositeTask 实现 了 集成 模式 ” ， 并 人 允许 将 顺序 执行 的 多 个 任务 组 合成 一 
个 任务 。 这 个 任务 对 于 执行 复杂 的 任务 (包含 其 他 任务 中 的 组 合 操作 ) 非常 有 用 。 

基本 任务 库 不 提供 对 数据 传输 的 任何 支持 ， 因 为 这 个 操作 是 基础 设施 根据 需要 自动 执行 
的 。 除 了 这 些 简 单 的 任务 ，AnekaAPI 允许 通过 实现 ITask 接口 和 支持 对 象 序列 化 来 创建 用 
户 自 定义 任务 。 

5. Web 服务 集成 

Aneka 可 以 通过 Web 服务 与 其 他 技术 和 应 用 程序 进行 集成 ， 也 可 以 对 寄存 在 Aneka 云 
上 的 一 些 服务 进行 平台 无 关 的 访问 。 其 中 ， 对 于 任务 提交 ，Web 服务 允许 第 三 方 应 用 程序 提 
交 任 务 ， 这 一 点 与 传统 的 计算 网 格 相 同 。 

任务 提交 Web 服务 是 一 个 可 以 部 署 在 任何 ASP.NET Web 服务 器 上 并 公开 了 一 个 用 于 作 
业 提 交 的 简单 接口 的 附加 组 件 ， 这 符合 Aneka 应 用 程序 模型 。 任 务 Web 服务 提供 了 一 个 更 
符合 网 格 计算 的 传统 方式 的 接口 。 因 此 ， 术 语 作 业 的 新 概念 被 引入 ， 即 预定 义 任务 的 集合 。 
基于 Web 提交 的 参考 场景 如 图 7-9 所 示 。 用 户 在 云 上 创建 一 个 分 布 式 应 用 程序 实例 ， 在 这 
个 应 用 程序 的 上 下 文中 ， 可 以 提交 多 个 或 单个 作业 查询 应 用 程序 的 状态 。 由 用 户 决 定 是 在 所 
有 作业 完成 后 终止 该 应 用 程序 还 是 直接 退出 应 用 程序 。 

通过 将 基本 任务 库 中 的 任务 组 合 在 一 起 可 以 创建 新 的 作业 。Web 服务 接口 支持 的 操作 如 下 : 

e 本 地 文件 复制 到 远程 节点 。 

e 文件 删除 。 

e 通过 通用 的 shell 服务 执行 传统 应 用 程序 。 

e 人 参数 替换 。 


O 软件 工程 中 ， 集 成 模式 是 一 种 将 多 组 件 组 合成 单一 组 件 的 软件 设计 模式 。 采 用 组 合 模式 的 优点 是 构 
造 软件 基础 设施 支持 将 操作 执行 转向 一 组 对 象 ， 该 对 象 以 完全 透明 的 方式 被 处 理 为 一 个 单元 。 人 参考 ， 
E.Gamma,R.Helm,R.Johnson,andJ.M.Vlissides, Design Patterns: Elements of Reusable Software Design, Addison- 
Wesley, 1995,ISBN:0201633612. 
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图 7-9 Web 服务 提交 场景 


岂可 以 为 每 个 作业 指定 输入 和 输出 文件 ， 在 这 种 情况 下 ， 唯 一 的 限制 是 ， 输 入 和 输出 文 
件 都 必须 驻 留 在 远程 FTP 服务 器 上 。 这 使 得 Aneka 可 以 自动 从 这 些 服务 器 下 载 文件 ， 而 无 
ree fi, E 7-10 给 出 了 关于 通过 Web 服务 进行 作业 提交 的 对 象 模型 的 详细 信息 。 


Job 

Class 

+ Fields 

= Properties 
本 InputFiles : File(] 
A OutputFies : Fiel] 
可 Reservationid : string 
> Tasks : Taskitem{) 

= Methods 
学 Job() (+ | overload) 


E 
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图 7-10 工作 对 象 模型 
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传统 网 格 技术 ， 如 Gridbus Broker[15] 和 工作 流 引擎 [70] ， 可 以 利用 任务 Web 服务 来 
提交 任务 ， 用 于 在 由 Aneka 管理 的 云 节点 执行 。 


7.3.3 ”开发 参数 化 应 用 


Aneka 通过 客户 端 组 件 的 集合 (该 集合 允许 开发 人 员 通 过 API 编程 或 图 形 用 户 务 面 
(GUI) 快速 开发 出 应 用 程序 的 原型 ) 将 对 参数 化 应 用 程序 的 支持 集成 到 任务 模型 的 项 端 。 文 
持 参数 化 应 用 程序 发 展 的 该 组 抽象 和 工具 构成 了 参数 化 设计 模型 (PSM). 

根据 Aneka.PSM，PSM 被 组 织 成 多 个 命名 空间 ， 更 确切 地 说 : 

e Aneka.PSM.Core ( Aneka.PSM.Core.dll) 包含 通过 给 定 的 一 组 参数 来 定义 模板 任务 和 

客户 端 组 件 (用 于 管理 任务 ) 的 基本 类 。 

e Aneka.PSM.Workbench ( Aneka.PSM.Workbench.exe) 和 Aneka.PSM.Wizard ( Aneka. 

PSM.Wizard.dll) 包含 设计 和 监测 参数 化 应 用 程序 的 用 户 接 口 支持 。 它 们 大 多 包含 设 
讨 资源 管理 器 所 需要 的 类 和 组 件 ， 这 是 开发 参数 化 应 用 程序 的 主要 GUI. 
e Aneka.PSM.Console ( Aneka.PSM.Console.exe) 包含 支持 在 控制 台 模 式 下 执行 参数 化 


应 用 程序 的 组 件 和 类 。 
这 些 命名 空间 定义 了 在 Aneka 顶端 对 于 开发 和 控制 参数 化 应 用 程序 的 支持 . 
1. 对 和 象 模型 


参数 化 模型 的 基本 要 素 在 Aneka.PSM.Core 命 名 空间 中 定义 。 该 模型 引 和 八 了 作业 
( Aneka.PSM.Core.PSMJobInfo) 的 概念 ， 它 标识 着 一 个 参数 化 应 用 程序 。 作业 包括 文件 依 
赖 关系 和 参数 的 定义 ,及 其 受理 域名 和 模板 任务 的 定义 。 图 7-11 所 示 为 对 象 模型 的 相关 的 
组 件 。 
应 用 程序 设计 的 根 组 件 是 PSMJobInfo 类 ， 其 中 包含 有 关 共 享 文件 和 输入 、 输 出 文件 
(PSMFileInfo) 的 信息 。 按 照 Aneka 应 用 程序 模型 ， 共 享 文件 适用 于 任务 模板 的 所 有 实例 ， 
而 输入 和 输出 文件 只 针对 特定 的 任务 实例 有 效 。 因 此 ， 这 些 文件 可 以 表示 为 参数 的 函数 。 目 
前 ， 可 以 指定 五 种 不 同类 型 的 参数 : 
© 常量 参 教 (PSMSingleParameterInfo)。 该 参数 标识 了 在 设计 阶段 设 定 的 特定 值 ， 在 应 
用 程序 的 执行 过 程 中 不 会 改变 。 

© 范围 参数 (PSMRangeParameterInfo)。 该 参数 允许 定义 一 个 允许 值 范围 ， 可 能 是 整数 
或 实数 。 该 参数 标识 着 一 个 由 离散 值 组 成 的 域 ， 并 且 需 要 设 定 下 界 和 上 界 ， 以 及 所 
有 容许 值 的 生成 步骤 。 

© 随机 参 教 (PSMRandomParameterInfo)。 该 参数 允许 在 给 定 范围 (由 上 界 和 下 界定 义 ) 
内 生成 一 个 随机 值 ， 该 值 是 实数 。 

© 故 举 参 教 (PSMEnumParameterInfo ) 。 该 参数 允许 指定 由 任何 类 型 的 值 组 成 的 离散 集 
合 。 指 定 不 基于 数值 的 离散 集 台 是 非常 有 用 的 。 

© 系统 参 教 (PSMSystemParameterInfo)。 该 参数 允许 用 于 映射 一 个 特定 的 值 ， 当 任务 

实例 在 远程 节点 上 执行 时 ， 该 值 被 取代 。 

除了 这 些 参 数 , 该 对象 模 型 保留 了 用 于 识别 PSM 对 象 模型 的 特定 值 的 特殊 参数 ， 如 任 
务 标识 符 和 其 他 数据 。 参 数 通 过 执行 上 下 文 (PSMContext， 人 负责 提 供 默认 和 运行 时 刻 值 ) 访 
问 执行 环境 。 任 务 模板 被 定义 为 命令 集合 (PSMCommandInfo)， 它 复制 和 扩展 了 基础 任务 
库 中 提供 的 功能 。 用 于 撰写 任务 模板 的 可 用 指令 形成 了 以 下 操作 : 
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图 7-11 PSM 对 象 模 型 (相关 类 ) 


e 本 地 文件 复制 到 远程 节点 上 (PSMCopyCommandInfo ) 。 

o 远程 文件 删除 (PSMDeleteCommandInfo ) 。 

o 通过 shell 执行 程序 (PSMExecuteCommandInfo ) 。 

o 远程 节点 上 的 环境 变量 设置 (PSMEnvironmentCommandInfo ) 。 

e 文件 中 的 字符 串 模 式 蔡 换 (PSMSubstituteCommandInfo )。 

根据 任务 创建 方案 中 的 描述 ， 可 以 通过 组 合 这 些 基 本 块 来 定义 任务 模板 。 这 些 指 令 公开 
的 属性 可 以 包括 前 面 定义 的 参数 ， 其 值 将 在 任务 实例 的 生成 期 间 提 供 。 

一 个 参数 化 应 用 程序 由 作业 管理 器 (IJobManager) 执行 ， 开 发 者 可 以 通过 任务 模型 的 底 
层 接口 来 实现 。 图 7-12 通过 作业 管理 器 的 特定 参考 和 任务 模型 API 展示 了 PSM 的 API 之 
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间 的 关系 。 
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图 7-12 ”参数 化 模型 API 


通过 IJobManager 接口 ， 可 以 指定 与 Aneka 中 间 件 进行 交互 的 用 户 凭据 和 配置 。 
IJobManager 的 实现 将 创建 一 个 相应 的 Aneka 应 用 实例 ， 并 利用 任务 模型 API 来 提交 所 有 从 
模板 任务 中 生成 的 任务 实例 。 该 接口 还 公开 了 用 于 控制 和 监测 参数 化 应 用 程序 执行 的 设施 ， 
以 及 对 登记 有 关 应 用 程序 的 统计 信息 的 支持 。 

2. 开发 和 监测 工具 

核心 库 允 许 开发 者 直接 编写 参数 化 应 用 程序 并 将 其 嵌入 其 他 应 用 程序 。Aneka 设计 资源 
管理 器 和 Aneka PSM 控制 台 则 通过 提供 对 应 用 程序 可 视 化 设计 以 及 交互 式 和 非 交 互 式 应 用 
程序 执行 的 支持 ， 简 化 了 参数 化 应 用 程序 的 设计 和 开发 。 

Aneka 设计 资源 管理 器 是 一 个 集成 可 视 化 环境 ， 用 于 参数 化 应 用 程序 的 设计 、 执行 及 状 
态 监 测 。 它 提供 了 一 个 简单 的 向 导 ， 可 以 帮助 用 户 直观 地 定义 参数 化 应 用 程序 的 任何 方面 ， 
如 文件 的 依赖 关系 和 结果 文件 、 参 数 和 模板 任务 。 该 环境 还 提供 了 一 组 组 件 集合 ， 用 于 帮助 
用 户 监 控 应 用 程序 的 执行 ， 对 应 用 程序 执行 进行 汇总 统计 ， 获 得 详细 的 任务 转变 监测 ， 以 及 
获得 对 应 用 程序 日 志 的 大 规模 访问 。 

Aneka PSM 控制 台 是 一 个 命令 行 实用 工具 ， 旨 在 在 非 交 互 模式 下 运行 参数 化 应 用 程序 。 
该 控制 台 提供 了 运行 应 用 程序 (有 监控 其 执行 的 功能 ) 的 简化 接口 。 对 于 设计 资源 管理 器 ， 
控制 台 提 供 的 对 于 保持 和 可 视 化 综合 统计 数据 的 支持 较 少 ， 但 它 提 供 了 一 个 更 加 简化 的 文本 
形式 来 显示 相同 的 数据 。 


7.3.4 管理 工作 流 
Aneka 本 身 不 支持 工作 流 ， 但 具备 相关 插件 ， 人 允许 基于 客户 端的 工作 流 管理 器 将 任务 提 


7 BRAGA: HARE 177 


区 到 Aneka。 目 前 ， 有 两 种 不 同 的 工作 流 管理 器 可 以 利用 Aneka 执行 任务 : 工作 流 引 人 擎 [70] 
和 Offspring[71]。 前 者 会 利用 Aneka 提供 的 任务 提交 Web 服务 ， 后 者 直接 与 Aneka 编程 
API 进行 交互 。 工 作 流 引擎 插件 是 框架 提供 集成 功能 的 一 个 例子 ， 它 允许 使 用 任何 技术 和 语 
言 开 发 的 客户 疹 应 用 程序 利用 Aneka 来 执行 任务 。 为 Offspring 开发 的 集成 构成 了 另 一 个 例 
于， 它 说 明了 如 何在 框架 现 有 的 API 之 上 构建 另 一 种 编程 模型 。 因 此 ， 我 们 将 讨论 此 解决 
方案 的 更 多 细节 。 

图 7-13 描述 了 Offspring 的 架构 。 该 系统 由 两 种 类 型 的 组 件 组 成 : 插件 和 分 配 引 擎 。 插 
件 用 于 丰 定 功能 环境 ,分布 引 敬 代表 用 于 任务 执行 的 分 布 式 计算 设施 的 访问 接口 。 现 有 的 
插件 AutoPlugin 提供 了 在 策略 方面 用 于 工作 流 定 义 的 设施 。 策 略 生 成 了 执行 的 任务 ， 并 
上 量 定 义 了 通过 引擎 提交 任务 的 逻辑 (在 顺序 、 协 调 性 和 依赖 性 方面 )。 一 个 特定 组 件 ， 即 
StrategyController， 能 从 分 布 引 擎 中 解 看 策略 。 因 此 ， 策 略 可 独立 于 所 使 用 的 特定 中 间 件 来 
定义 。 与 Aneka 的 连接 是 通过 AnekaEngine 实现 的 ， 它 实现 了 IDistributionEngine 中 用 于 
Aneka 中 间 件 的 操作 ， 并 且 依 赖 于 由 任务 模型 编程 API 公开 的 服务 。 
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图 7-13 ”Offspring 架构 


该 系统 允许 动态 工作 流 的 执行 ， 其 结构 被 定义 为 执行 工作 流 。 可 以 定义 两 种 不 同类 型 
的 任务 : native 任务 和 legacy 任务 。native 任务 在 托管 代码 中 实现 。legacy 任务 管理 文件 
的 依赖 性 以 及 封装 所 有 在 远程 节点 上 执行 legacy 程序 所 必要 的 数据 。 此 外 ， 策 略 可 以 定 
义 共 享 文件 依赖 关系 ， 这 对 所 有 工作 流 生成 的 任务 都 是 必需 的 。 任 务 之 间 的 依赖 关系 由 
StrategyController 和 分 布 式 引擎 所 触发 的 事件 隐 式 定义 。 

图 7-14 描述 了 这 些 组件 之 间 的 交互 。 两 个 主要 的 执行 线程 控制 策略 的 执行 ， 控 制 线程 
管理 策略 的 执行 ， 而 监视 线程 收集 分 布 引擎 的 反馈 信息 ， 并 人 允许 策略 对 以 前 提交 任务 的 执行 
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进行 动态 反应 。 从 整个 工作 流 开 发 者 的 角度 看 ， 逻 辑 很 简单 。 策 略 的 执行 分 为 三 大 步 : 建 
立 ， 执 行 和 结束 。 第 一 步 涉及 策略 的 设置 和 应 用 程序 到 策略 的 映射 。 相 应 地 ， 结 束 步 又 负责 
释放 所 有 分 配给 策略 的 内 部 资源 和 关闭 应 用 程序 。 工 作 流 执行 的 核心 是 执行 步骤 ， 它 被 分 解 
成 一 组 迭代 。 在 每 次 迭代 期 间 ， 一 组 任务 集合 被 提交 ， 这 些 任务 彼此 之 间 不 具有 依赖 性 ， 并 
且 可 以 并 行 执行 。 一 旦 任务 完成 或 失败 ， 该 策略 将 查询 是 否 需 要 执行 一 组 新 的 任务 。 以 这 种 
方式 实现 了 任务 间 的 依赖 关系 。 如 果 有 更 多 要 执行 的 任务 ， 提 交 这 些 任务 并 且 控 制 咒 等 待 来 
自 引 擎 的 反馈 ; 否则 ， 该 策略 的 迭代 完成 。 在 每 次 迭代 结束 时 ， 控 制 絮 检查 该 策略 是 否 已 经 
完成 了 执行 ， 如 果 完 成 ， 执 行 结束 步骤 。 
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图 7-14 工作 流 协 调 


AnekaEngine 创建 了 一 个 AnekaApplication 类 的 实例 ， 用 于 策略 的 每 一 次 执行 ， 用 一 个 
TaskManager 的 具体 实现 来 配置 模板 类 ， 覆 盖 了 实现 文件 管理 的 行为 ， 并 且 优 化 了 输出 文件 
的 上 传 。 为 了 支持 不 依赖 分 布 引擎 的 工作 流 执 行 ， 应 用 程序 配置 设置 由 分 配 引擎 控制 ， 并 且 
在 所 有 通过 引擎 执行 的 策略 之 间 共 享 。 


本 章 小 结 


本 章 介绍 了 基于 任务 编程 的 概念 ， 并 在 任务 概念 的 基础 上 ， 概 述 了 分 布 式 应 用 程序 的 开 
发 技术 。 基 于 任务 的 程序 设计 是 将 应 用 程序 的 计算 分 布 到 一 组 节点 上 最 为 直观 的 方法 。 基 于 
任务 的 程序 设计 的 主要 抽象 是 任务 的 概念 ， 它 代表 了 可 以 分 离 的 并 作为 一 个 单元 执行 的 一 组 
操作 。 任 务 可 以 是 通过 shell 或 更 复杂 的 代码 (需要 特定 的 运行 环境 来 执行 ) 来 执行 的 一 个 简 
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单程 序 。 很 多 时 候 ， 任 务 的 执行 需要 输入 文件 并 且 产 生 输出 文件 作为 结果 。 根 据 这 个 模型 ， 
应 用 程序 表示 为 任务 的 集合 ， 这 些 任务 相互 关联 的 方式 ， 及 其 具体 的 性 质 和 特点 区 分 了 不 同 
的 模式 (基于 任务 编程 的 一 种 表现 形式 )。 

传统 上 ， 基 于 任务 的 编程 模型 已 经 被 成 功 地 应 应 用 于 分 布 式 应 用 程序 开发 的 许多 领域 。 本 
草 确 定 了 可 以 利用 任务 模型 的 三 个 主要 计算 类 别 。 高 性 能 计算 ( HPC) 是 指 利用 分 布 式 计算 
设施 解决 那些 需要 大 量 计算 能 力 的 问题 。 常 见 的 HPC 应 用 程序 具有 一 个 很 大 的 计算 密集 型 
任务 的 集合 ， 其 持续 时 间 相 对 较 短 。 高 吞吐 量 计算 (HTC) 适用 于 将 分 布 式 计 算 设施 用 于 执 
行 在 长 时 间 内 需要 大 量 计 算 能 力 的 应 用 程序 的 情况 。 任 务 可 能 不 是 很 多 ， 但 是 它们 持续 的 时 
间 长 ， 因 此 基础 设施 的 可 靠 性 变 得 至 关 重 要 。 多 任务 计算 (MIC) 是 最 新 出 现 的 趋势 ， 它 能 
够 识别 一 个 异 构 应 用 程序 集合 和 应 用 程序 的 要 求 ，MTC 填补 了 HPC 和 HTC 之 间 的 差距 。 

本 章 向 要 回顾 了 与 任务 编程 相关 的 常见 模型 。 高 度 并 行 应 用 程序 由 不 相互 关联 的 任务 集 
合 组成， 它们 可 以 以 任何 顺序 执行 ， 并且 不 需要 共同 分 配 。 参 数 化 应 用 是 高 度 并 行 模 型 的 一 
个 特例 。 它 们 的 特点 是 一 个 相互 独立 的 任务 集合 ， 其 中 的 任务 是 通过 改变 参数 值 的 组 合 自 动 
地 从 一 个 任务 模板 中 生成 的 。 在 这 种 情况 下 ， 所 执行 的 任务 在 计算 逻辑 上 是 相同 的 ， 但 数据 
不 同 。 因 此 ， 参 数 化 应 用 程序 也 可 以 被 认为 是 单程 序 多 数据 (SPMD) 模型 。 MPI 应 用 程序 
的 特点 是 需要 一 起 执行 ， 并 通过 消息 传递 来 交换 数据 的 任务 集合 。 尽 管 通过 MPI 应 用 程序 
任务 执行 的 程序 可 能 是 相同 的 ， 但 是 提供 一 个 实现 逻辑 ， 且 该 逻辑 根据 其 等 级 区 分 每 个 任务 
的 行为 是 很 常见 的 。 工 作 流 应 用 程序 的 特点 是 ， 任 务 集合 中 任务 之 间 的 依赖 关系 可 以 用 一 个 
有 向 非 循环 图 的 术语 表示 。 依 赖 关系 大 多 通过 文件 表示 ， 这 些 文件 是 特定 任务 的 输出 ， 并 且 
都 需要 对 相关 任务 的 计算 。 任 务 的 性 质 和 每 个 任务 所 使 用 的 计算 种 类 通常 是 不 一 致 的 。 

本 章 介 绍 了 任务 模型 和 Aneka 服务 的 实现 ，Aneka 支持 基于 任务 的 编程 作为 框架 的 实际 
例子 ， 实 现 了 基于 任务 的 分 布 式 应 用 程序 的 开发 和 执行 。 任 务 模型 包括 一 组 服务 (目录 、 调 
度 、 执 行 和 存储 )， 它 们 相互 协调 构成 了 高 度 并 行 应 用 程序 执行 的 运行 时 刻 支 持 。 就 任务 定 
义 、 提 交 、 执 行 和 文件 的 依赖 关系 管理 方面 而 言 ， 任 务 模型 的 基本 特征 由 一 个 实际 例子 证 
明 。 在 此 基础 上 ， 客 户 端 组 件 以 及 与 其 他 技术 的 集成 使 供应 商 能 够 支持 参数 化 和 工作 流 应 
用 。 参 数 化 应 用 程序 通过 参数 化 模型 (PSM) 实现 ， 其 特征 在 于 具有 一 个 能 够 为 这 种 应 用 程 
序 提 供 不 同 的 ， 且 更 合适 的 接口 的 客户 端 组 件 集合 。Aneka 本 身 并 不 支持 工作 流 应 用 程序 ， 
但 与 其 他 技术 的 集成 使 用 户 能 够 利用 Aneka 执行 工作 流 。 例 如 ， 一 个 使 用 Aneka 任务 提交 
Web 服务 的 插件 允许 工作 流 引 擎 将 Aneka 作为 工作 流 执行 的 后 端 使 用 。 在 Offspring 中 实现 
的 Aneka 分 布 引 擎 提供 了 另 一 个 例子 ， 说 明了 如 何 通过 利用 任务 模型 的 基本 API 来 快速 原 
型 化 另 一 种 编程 模型 (基于 工作 流 的 模型 )。 


习题 


. 什么 是 任务 ? 任务 计算 如 何 与 并 行 计算 关联 ? 
. 列举 并 解释 任务 计算 的 计算 类 型 。 

. 支持 任务 计算 的 框架 的 主要 功能 是 什么 ? 

. 列举 几 种 任务 计算 最 常见 的 框架 。 

， 任 务 包 表示 什么 ? 

举 一 个 参数 化 应 用 程序 的 例子 。 

. 什么 是 MPI? 它 的 主要 特点 是 什么 ? 


~ 人 ID 一 


8. 
9; 


10. 
.任务 编程 模型 的 主要 组 件 是 什么 ? 

.描述 ITask 与 AnekaTask 的 区 别 。 

.描述 静态 与 动态 任务 提交 的 区 别 。 

描述 Aneka 提供 的 基于 任务 应 用 的 数据 移动 功能 和 一 般 架 构 。 

.如 何 用 任务 编程 模型 运行 旧 瞩 本 应 用 程序 ? 

.Aneka 的 任务 编程 模型 与 其 他 技术 和 平台 有 什么 不 同 ? 

.用 任务 编程 模型 设计 和 实现 简单 的 应 用 ， 按照 Riemann “提出 的 积分 运算 算法 实现 积分 的 非 连续 
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什么 是 工作 流 ? 与 高 度 并 行 应 用 相 比 ， 工 作 流 应 用 模型 的 特性 是 什么 ? 
描述 工作 流 管理 系统 的 参考 模型 。 
Aneka 如 何 支 持 任务 计算 ? 


计算 。 


:Aneka 为 执行 参数 化 应 用 程序 提供 的 功能 是 什么 ? 
. Aneka 文 持 工作 流 任务 执行 吗 ? 
. 参考 图 7-6 描述 的 蒙太奇 工作 流 ， 简 要 设计 在 Aneka 上 执行 工作 流 策略 的 控制 流程 .。 





Ə http://en.wikipedia.org/wiki/Riemann_inegral 
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数据 密集 型 计算 : MapReduce 编程 





数据 密集 型 计算 是 一 类 专注 于 处 理 大 量 数据 的 应 用 程序 。 从 计算 机 科学 到 社交 网 络 ， 这 
些 应 用 领域 产生 了 大 量 需要 被 有 效 地 存储 、 访 问 、 索 引 和 分 析 的 数据 ， 而 且 信 息 量 随时 间 
以 更 局 的 速率 累积 和 增加 ， 使 这 些 任 务 变 得 颇具 挑战 性 。 分 布 式 计算 无 疑 为 应 对 这 些 挑战 提 
供 了 帮助 ， 它 在 数据 计算 和 处 理 方面 提供 了 更 多 的 可 扩展 和 高 效 的 存储 架构 ， 具 有 更 好 的 性 
fe. 尽管 如 此 ， 利 用 并 行 和 分 布 式 技术 来 支撑 数据 密集 型 计算 并 不 简单 ， 仍 然 需 要 面 对 以 数 
据 表示 、 高 效 算 法 以 及 可 扩展 基础 设施 为 形式 的 一 些 挑战 。 

本 草 摘 述 了 数据 密集 型 计算 的 本 质 ， 并 概述 了 大 量 数据 的 产生 及 其 为 存储 系统 和 计算 
模型 所 市 来 的 挑战 。 本 章 描述 了 MapReduce， 这 是 一 个 流行 的 编程 模型 ， 用 于 创建 数据 密 
集 型 应 用 以 及 将 应 用 部 署 在 云端 。 数 据 密 集 型 计算 的 MapReduce 应 用 实例 使 用 的 是 Aneka 
MapReduce 编程 模型 。 


8.1 什么 是 数据 密集 型 计算 


数据 密集 型 计算 涉及 数 百 MB 到 PB 甚至 更 大 规模 数据 的 产生 、 处 理 和 分 析 [73] 。 术 语 
数据 集 通 第 用 于 表示 信息 元 素 的 集合 ， 这 些 元 素 与 一 个 或 多 个 应 用 相关 。 数 据 集 通常 保存 在 
库 里 ， 这 是 支持 大 量 信 息 存 储 、 检 索 以 及 索引 的 基础 。 为 了 便于 分 类 和 搜索 ， 一 部 分 相关 信 
息 需 连接 到 数据 集 ， 这 就 是 元 数据 。 

数据 密集 型 计算 出 现 于 许多 应 用 领域 ,计算 科学 是 最 流行 的 应 用 领域 之 一 。 人 们 开展 科 
学 模拟 和 实验 时 经 常会 产生 、 分 析 和 处 理 海量 的 数据 。 通 过 望远镜 观测 天 空 ， 每 秒 有 数 百 
GB 的 数据 产生 ， 一 年 多 的 天 空 图 像 的 集合 很 容易 达到 PB 级 的 数据 规模 。 生 物 信息 学 应 用 
控 掘 到 的 数据 库 最 终 可 能 会 包含 TB 级 的 数据 。 地 震 模 拟 器 处 理 了 大 量 的 数据 ， 这 些 数据 是 
全 球 记 录 地 球 振动 的 结果 。 

除了 科学 计算 ， 一些 IT 产业 也 需要 数据 密集 型 计算 的 支持 。 电 信和 公司 的 顾客 数据 很 容 
易 达 到 10 ~ 100TB 的 范围 ， 这 些 信息 不 仅 用 于 生成 账单 报表 ， 也 可 以 通过 挖掘 来 确定 一 些 
帮助 公司 提供 更 优 服务 的 场景 、 趋 势 和 模式 。 此 外 ， 据 报道 ， 美 国手 机 移动 流量 已 经 达到 每 
月 8PB 并 且 预 计 到 2015 年 将 增长 到 每 月 327PB?”。 对 于 谷歌 这 样 的 IT 巨 头 ，PB 级 的 数据 量 
更 为 普遍 ， 据 报道 谷歌 每 天 处 理 大 约 24PB 的 信息 [55] ， 每 小 时 都 在 整理 PB 级 的 数据 量 ” 。 
目前 数据 密集 型 计算 在 社交 网 络 和 游戏 这 两 个 领域 里 已 得 到 应 用 。Facebook 的 收 件 箱 搜索 
业务 涉及 抓 取 大 约 150TB 的 数据 ， 并 且 存 储 在 分 布 式 基础 设施 的 整个 未 压缩 的 数据 达到 了 
36PB°. Zynga 这 个 社交 游戏 平台 每 天 移动 1PB 的 数据 ， 据 报道 ,Zynga 每 周 增加 1000 个 服 


© Coda ResearchConsultancy, www.codaresearch.co.uk/usmobileinternet/index.htm. 

© Google’s Blog, http://googleblog.blogspot.com/2008/1 1/sorting- 1 pb-with-mapreduce.html » 

© OSCON 2010, DavidRecordon ( SeniorOpenProgramsManager,Facebook ) :Today’sLAMPStack,KeynoteSpeech. 
网 址 www.oscon.com/oscon2010/public/schedule/speaker/2442 
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务 器 用 来 存储 像 Farmville 和 Frontierville 这 样 的 游戏 产生 的 数据 ?。 


8.1.1 数据 密集 型 计算 特性 


数据 密集 型 应 用 程序 不 仅 处 理 海 量 数据 ， 而 且 经 常 表现 出 计算 密集 型 的 性 能 [74]. 
图 8-1 在 两 个 上 和 象限 标识 了 数据 密集 型 计算 的 域 。 


C a E “~ ~~ ~ ™” 


Pry an | + 3 
字 节 格式 计算 密集 型 问题 数据 / 计算 密集 型 问题 


数据 复杂 性 ”a fs tm be Tla 
( 量 / 格 式 / 分 布 ) re ee 


多” 


— 
BABE Ei i 统计 模型 决策 
图 8-1 数据 密集 型 研究 问题 


数据 密集 型 应 用 处 理 多 个 TB 和 PB 级 规模 的 数据 集 。 数 据 集 通 常 存留 几 种 格式 并 分 布 
在 不 同 的 位 置 。 应 用 程序 以 多 步 分 析 的 渠道 处 理 数 据 ， 包 括 转换 和 融合 阶段 。 这 样 的 处 理 要 
求 数据 大 小 几乎 呈 线 性 变化 ， 并 且 容 易 并 行 处 理 。 处 理 过 程 中 还 需要 对 于 数据 管理 、 过滤 和 
融合 的 有 效 机 制 ， 以 及 高 效 的 查询 和 分 布 [74] . 


8.1.2 ”未 来 的 挑战 


海量 数据 的 产生 、 分 析 或 存储 加 强 了 对 于 支持 基础 设施 和 中 间 件 的 需求 ， 而 分 布 式 计 算 
的 传统 解决 方案 很 难 实现 这 一 需求 。 例 如 ， 数 据 的 位 置 是 至 关 重 要 的 ， 因 为 对 于 TB 级 数据 
的 移动 需求 成 为 了 高 性 能 计算 的 障碍 。 数 据 分 区 、 内 容 复制 和 可 扩展 的 算法 ， 有 助 于 提高 
数据 密集 型 应 用 程序 的 性 能 。 数 据 密 集 型 计算 中 开放 的 挑战 由 Ian Gorton 等 人 [74] 提出 ， 
如 下 : 

e 可 以 搜集 和 处 理 大 量 数据 集 的 可 扩展 算法 。 

e 可 以 扩展 到 处 理 复杂 的 、 异 构 的 和 分 布 式 数 据 源 的 新 的 元 数据 管理 技术 。 

[254] 。 高 性 能 计算 平台 的 优势 ， 旨 在 为 访问 内 存 中 多 TB 数据 结构 提供 更 好 的 支持 。 

。 高 性 能 、 高 可 靠 性 、 千 亿 万 次 的 分 布 式 文件 系统 。 

© 用 于 数据 还 原 和 快速 处 理 的 数据 签名 生成 技术 。 

o 实现 软件 可 移植 性 的 新 途径 ， 用 于 传送 能 够 将 计算 移动 到 数据 所 在 的 位 置 的 算法 。 

s 专门 的 混合 互 连 架构 ， 为 过 滤 来 自 高 速 网 络 和 科学 仪器 的 多 GB 数据 流 提供 的 更 好 

支持 。 

o 天 活 高 效 的 软件 集成 技术 ， 便 于 结合 不 同 平台 上 运行 的 软件 模块 以 迅速 形成 分 析 

通道 。 


©  http//techcrunch.com/2010/09/22/zynga-moves-1 -petabyte-of-data-~daily-adds- 1 000-servers-a-week/. 
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8.13 ”历史 背景 


数据 密集 型 计算 包括 海量 数据 的 产生 、 管 理 和 分 析 。 存 储 、 网 络 技术 、 算 法 和 基础 软件 
一 起 为 数据 密集 型 计算 提供 支持 。 本 节 通 过 重点 介绍 在 存储 、 网 络 及 基础 软件 领域 最 为 相关 
的 贡献 来 追踪 这 一 现象 的 演变 。 

1. 早期 时 代 : 高 速 宽带 网 络 

效 据 传输 和 数据 流 方面 的 技术 、 协 议和 算法 的 演变 已 经 成 为 数据 密集 型 计算 的 推动 者 
[75] 。1989 年 ， 作 为 科学 数据 远程 可 视 化 支持 的 第 一 个 高 速 网 络 实验 在 业界 遥遥 领先 。 两 
年 之 后 ， 利 用 高 速 宽带 网 络 的 潜在 性 在 1991 年 的 超级 计算 会 议 ( SC91 ) 中 被 证 实 ， 它 使 得 
高 速 且 基 于 TCP/IP 协议 的 分 布 式 应 用 程序 成 为 现实 。 当 时 ， 大 量 复 杂 的 科学 数据 集 (一 个 
高 分 辩 计 的 磁 共 振 岁 像 ， 或 称 为 MRI， 人 类 大 脑 的 扫描 ) 的 远程 可 视 化 在 匹兹堡 超级 计算 中 
AD ALB as Fa EN Bay {A ee ( 那 次 会 议 的 召开 地 ) 之 间 建 立 。 

Kaiser 项 目 [76] 迈 出 了 更 深远 的 一 步 ， 使 得 远程 数据 源 的 高 数据 传输 速率 和 在 线 仪器 
系统 成 为 可 能 。 该 项 目 利 用 广 域 大 型 数据 对 象 ( WALDO) 系统 [77] ， 以 提供 以 下 性 能 : 元 
数据 的 日 动 生 成 ; 实时 处 理 数据 ， 同 时 对 数据 和 元 数据 自动 编目 ; 通过 提供 本 地 和 远程 用 户 
对 数据 的 访问 来 促进 合作 研究 ; 把 数据 存 人 数据 库 和 其 他 文件 的 机 制 。 

据 报道 ,MAGIC 项 目 构建 了 第 一 个 数据 密集 型 环境 ， 这 是 一 个 DARPA 资助 的 研究 大 
和 规模、 高速 网 络 中 分 布 式 应 用 程序 的 合作 项 目 。 在 这 一 背景 下 ， 开 发 出 了 分 布 式 并 行 存 储 系 
统 ( DPSS)， 之 后 被 用 来 文 持 TerraVision[78] ， 这 是 一 个 让 用 户 探 索 和 导航 立体 实景 的 地 形 
可 视 化 应 用 . 

另 一 个 重要 的 里 程 碑 是 Clipper 项 目的 建立 ， 这 是 几 个 科学 研究 实验 室 合作 努 力 的 结 
采 ， 目 标 是 设计 和 实现 一 个 独立 的 但 结构 一 致 的 服务 组 件 的 集合 ， 用 来 文 持 数据 密集 型 计 
PE. Clipper 项 目 提出 的 挑战 包括 大 量 计算 资源 的 管理 、 高 速率 高 容量 数据 流 的 产生 和 消费 、 
用 户 交 互 管理 、 分 散 资源 的 聚合 (多 数据 归档 、 分 布 式 计算 容量 、 分 布 式 缓存 容量 和 保证 网 
络 容量 )- Clipper 的 焦点 是 开发 一 个 服务 的 协调 集合 ， 可 以 用 于 各 种 应 用 程序 ， 以 构建 按 需 、 
大 规模 、 高 性 能 、 广 域 解决 问题 的 环境 。 

2. 计算 网 格 

随 着 网 格 计算 [8] 的 出 现 ， 人 们 可 以 跨 管 理 域 利 用 异 构 资 源 获 得 大 量 计算 能 力 和 存储 容 
量 。 在 这 样 的 背景 下 ， 数 据 网 格 [79] 作为 支持 数据 密集 型 计算 的 基础 设施 出 现 了 。 数 据 网 
格 提 供 了 帮助 客户 发 现 、 转 换 和 操作 存储 在 分 布 式 数 据 库 的 大 量 数据 集 的 服务 ， 并 且 可 以 创 
建 和 管理 它们 的 备份 。 数 据 网 格 提 供 了 两 个 主要 功能 : 高 性 能 和 可 靠 的 文件 传输 以 实现 大 量 [256 
数据 的 移动 ， 可 扩展 的 副本 发 现 和 管理 机 制 以 便 容易 地 访问 数据 集 [80] 。 因 为 数据 网 格 跨 
越 不 同 的 管理 边界 ， 所 以 访问 控制 和 安全 是 重要 的 内 容 。 

大 部 分 数据 网 格 提供 存储 和 数据 集 管理 能 力 以 作为 产生 大 量 数据 的 科学 实验 的 支持 。 图 
8-2 为 一 种 可 能 的 一 参考 情景 。 海 量 数据 由 科学 设备 (望远镜 、 粒 子 加 速 器 等 ) 产生 ， 之 后 ， 
可 以 在 本 地 处 理 的 信息 被 存储 在 数据 库 中 ， 以 供 本 地 甚至 远程 的 科学 家 实验 和 分 析 。 科 学 家 
可 以 利用 特定 的 发 现 和 信息 服务 ， 这 有 助 于 确定 他 们 最 感 兴趣 的 数据 集 的 位 置 。 数 据 集 由 基 
础 设施 复制 ， 以 提供 更 好 的 可 用 性 。 由 于 处 理 这 些 信息 也 需要 很 强 的 计算 能 力 ， 因 此 可 以 访 
问 特定 的 计算 站 点 以 便 执行 分 析 和 实验 。 


© www.nersc.gov/inews/annual reports/annrep98/16clipperhtml。 
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像 任 何其 他 的 网 格 基础 设施 一 样 ， 由 于 资源 和 不 同 管理 域 的 异 构 性 ， 因 此 需要 适当 强调 
安全 措施 和 虚拟 组 织 (VO) 的 使 用 。 除 了 异 构 性 和 安全 性 ， 数 据 网 格 还 具有 自己 的 特征 并 且 
引入 了 新 的 挑战 [79]: | 

e 大 量 数 据 集 。 数 据 集 的 大 小 很 容易 达到 GB, TB 以 及 更 大 的 规模 。 因 此 在 批量 传输 、 
用 恰当 的 方法 复制 内 容 以 及 管理 存储 资源 时 将 延迟 降 到 最 低 是 必要 的 。 

共 储 数据 集 。 资 源 共享 包括 数据 的 分 布 式 收集 。 例 如 ， 数据库 可 以 用 来 存储 和 读 取 
数据 。 

e 统一 的 合 名 空间 。 数 据 网 格 利用 了 一 个 统一 的 定位 数据 集合 和 资源 的 逻辑 命名 空间 。 
每 一 个 数据 元 素 有 一 个 单独 的 逻辑 名 称 ， 它 最 终 被 映射 到 不 同 的 物理 文件 名 ， 以 便 
进行 复制 和 访问 。 

访问 限制 。 虽 然 数 据 网 格 的 目的 之 一 是 便于 实验 结果 和 数据 的 共享 ， 但 一 些 用 户 可 
能 想 要 确保 其 数据 的 机 密 性 ， 并 限制 他 们 的 合作 者 对 这 些 数据 的 访问 。 身 份 验证 和 
效 据 网 格 授权 涉及 共享 数据 集合 中 粗 粒 度 和 细 粒 度 的 访问 控制 。 

相对 于 高 速 网 络 计算 设施 的 组 合 ， 数 据 网 格 是 一 种 更 加 结构 化 和 综合 化 的 进行 数据 密集 
型 计算 的 方法 。 因 此 ， 包 括 高 能 物理 、 生 物 和 天 文学 等 科学 研究 领域 都 利用 了 数据 网 格 ， 简 
要 讨论 如 下 : 

e LHC 网 格 。 这 是 由 欧洲 联盟 资助 的 一 个 项 目 ， 目 的 是 开发 一 个 全 球 的 网 格 计算 环境 ， 
为 与 LHC 实验 合作 的 来 自 全 球 的 高 能 物理 研究 者 提供 服务 。 它 支持 由 LHC 实验 产 
生 的 从 几 百 TB 到 PB 的 大 规模 数据 集 的 存储 和 分 析 (http://Ihc.web.cern.ch/che 1 )。 

o 生物 信息 学 研究 网 络 (BIRN)。BIRN 是 美国 建立 的 通过 数据 共享 和 在 线 合作 来 推动 
生物 医学 研究 的 创新 项 目 。 由 国家 研究 资源 中 心 (NCRR) 资助 ， 作 为 美国 国家 健康 
机 构 (NIH) 的 构成 要 素 ，BIRN 提供 数据 共享 基础 设施 、 软 件 工具 、 方 法 和 咨询 服 
务 (www.birncommunity.org ) 。 

e 国际 虚拟 天 文 台 联盟 (IVOA)。IVOA 组 织 旨 在 提供 更 好 的 对 于 不 断 扩展 的 天 文 数 据 
资源 的 网 络 访问 。 实 现 方法 是 提高 虚拟 天 文 台 的 标准 ， 虚拟 天 文 台 是 互 操作 数据 归 
档 和 软件 工具 的 集合 ， 这 些 软件 工具 利用 网 络 形成 能 引导 天 文学 研究 项 目的 科学 研 
究 环境 ， 人 允许 科学 家 发 现 、 访 问 、 分 析 和 组 合 来 自 异 构 数 据 集合 的 实验 数据 。 

数据 网 格 的 完全 分 类 法 可 以 参考 Venugopal 等 [79] 的 文章 。 

3. 数据 云 和 “大 数据 ” 

大 量 数据 集 大 部 分 已 经 成 为 科学 计算 的 范畴 。 由 于 海量 数据 正在 被 那些 提供 搜索 、 网 上 
广告 和 社会 媒体 等 服务 的 公司 产生 、 控 掘 、 处 理 ， 这 一 情景 最 近 开 始 改变 。 对 于 这 样 的 公 
司 ， 有 效 地 分 析 这 些 大 量 数据 集 是 至 关 重 要 的 ， 因 为 它们 构成 了 有 关 其 客户 信息 的 宝贵 资 
源 。 日 志 分 析 是 在 这 样 的 背景 下 普遍 进行 的 数据 密集 型 操作 的 一 个 例子 ; 像 谷 歌 这 样 的 公司 
每 天 都 会 产生 由 其 分 布 式 基础 设施 处 理 的 日 志 形 式 的 海量 数据 。 因 此 ， 他 们 采用 分 析 型 基础 
设施 ， 而 不 是 科学 界 使 用 的 基于 网 格 的 基础 设施 。 

随 着 支持 数据 密集 型 计算 的 云 计 算 技术 的 扩散 ， 大 数据 [82] 一 词 已 经 流行 起 来 。 这 一 
词汇 描述 了 当今 数据 密集 型 计算 的 本 质 ， 而 且 可 以 鉴别 现在 的 数据 集 ， 它 们 的 增长 量 太 大 以 
至 于 用 手持 的 数据 集 管理 工具 来 工作 会 变 得 复杂 。 关 系 型 数据 库 和 桌面 统计 /可视化 软件 包 
对 于 海量 信息 变 得 无 效 ， 取 而 代 之 的 ， 是 “运行 在 十 、 百 甚至 上 千 的 服务 器 上 的 大 量 并 行 软 


件 ”[82]。 
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大 数据 问题 出 现在 非 科 学 的 应 用 领域 ， 例 如 网 络 日 志 、 射 频 识 别 (REFID )、 传 感 希 网 络 、 
社交 网 络 、 互 联网 文字 和 文件 、 互 联网 搜索 索引 、 呼 叫 详细 记录 、 军 事 侦察 、 医 疗 记录 、 照 
片 档案 、 视 频 档案 和 大 型 电子 商务 。 除 了 数量 巨大 ， 这 些 例子 表现 出 来 的 是 新 数据 随时 间 罕 
积 ， 而 不 是 代替 旧 数 据 。 通 常 ， 大 数据 一 词 适 用 于 数据 集 的 大 小 超出 了 常用 软件 工具 在 可 容 
忍 的 运行 时 间 内 捕获 、 管 理 和 处 理 的 能 力 。 因 此 ， 大 数据 的 量 是 一 个 不 断 移动 的 目标 ， 目 前 
在 一 个 数据 集中 从 几 十 TB 到 多 PB 级 变化 。 

云 计 算 以 如 下 几 种 方式 支持 数据 密集 型 计算 

e 提供 大 量 的 实时 计算 实例 ， 用 于 并 行 处 理 和 分 析 大 量 数据 集 。 

o 提供 优化 的 存储 系统 ， 用 于 保存 大 文件 数据 以 及 其 他 分 布 式 数据 存储 以 构 。 

o 提供 构架 和 可 编程 API， 以 便 处 理 和 管理 海量 数据 。 这 些 API 大 多 数 附 加 一 个 特定 

的 用 来 完善 系统 整体 性 能 的 存储 基础 设施 。 

数据 云 是 这 些 因素 的 结合 ，MapReduce 构架 [55] 就 是 一 个 例子 ， 它 提供 了 在 谷歌 
大 型 计算 设施 的 顶层 利用 谷歌 文件 系统 [54] 的 最 好 性 能 。 另 一 个 例子 是 Hadoop 系统 
[83] ， 它 是 最 成 熟 的 大 型 开源 数据 云 。 它 由 Hadoop 分 布 式 文件 系统 (HDFS) 和 Hadoop 的 
MapReduce 实现 构成 。Sector[84] 提出 了 一 个 相似 的 方法 ，Sector 由 Sector 分 布 式 文件 系统 
(SDFS) 和 一 个 名 为 Sphere[L84] 的 计算 服务 构成 ，Sphere 允许 用 户 通 过 由 SDFS 管理 的 数据 
执行 任意 的 用 户 定 义 功 能 (UDF), Greenplum 使 用 基于 商用 硬件 的 无 共享 的 大 型 并 行 处 理 
(MPP) 架构 。 这 个 架构 也 把 类 似 MapReduce 的 性 能 加 入 自己 的 平台 。Aster 开发 了 一 个 相似 
的 架构 ， 它 采用 了 基于 MPP 的 支持 MapReduce 的 数据 仓库 设备 ， 数 据 目 标 为 1PB。 

4. 数据 库 和 数据 密集 型 计算 

传统 意义 上 ， 随 着 仅 由 一 个 系统 构成 的 分 布 式 数据 集 [85] 变 得 难以 管理 ， 分 布 式 数 据 
库 已 被 认为 是 数据 库 管 理 系统 的 自然 进化 。 分 布 式 数据 库 是 存储 在 不 同 地 点 的 计算 机 网 络 中 
的 数据 的 集合 。 每 个 站 点 可 能 会 提供 一 定 程度 的 自主 权 ， 为 本 地 应 用 程序 的 执行 提供 服务 ， 
但 是 也 参与 全 球 应 用 程序 的 执行 。 一 个 分 布 式 数据 库 可 以 通过 分 裂 和 散射 在 不 同 站 点 的 现 有 
数据 库 的 数据 或 由 多 个 现 有 的 数据 库 联 合 建立 。 这 些 强 大 的 系统 提供 分 布 式 事务 处 理 、 分 布 
式 查 询 优 化 和 资源 的 高 效 管理 。 然 而 ， 它 们 大 多 关注 可 以 用 关系 模型 [86] 来 表示 的 数据 集 ， 
并 且 需 要 执行 数据 的 ACID 特性 限制 了 它们 的 扩展 能 力 ， 就 如 同 数据 云 和 网 格 一 样 。 


8.2 数据 密集 型 计算 技术 


数据 密集 型 计算 关注 那些 侧重 海量 数据 处 理 的 应 用 程序 的 发 展 。 因 此 ， 存 储 系统 和 编程 
模型 成 为 支持 数据 密集 型 计算 技术 的 两 大 分 类 。 


8.2.1 存储 系统 


传统 上 ， 数 据 库 管理 系统 构成 了 对 几 种 类 型 的 应 用 程序 的 实际 存储 支持 。 由 于 日 志 、 网 
页 、 软 件 日 志和 传感器 读数 等 形式 的 非 结 构 化 数据 的 爆炸 ， 因 此 原 有 形式 的 关系 模型 似乎 不 
是 文 持 大 规模 数据 分 析 的 首选 解决 方案 。 针 对 数据 库 和 数据 管理 行业 的 研究 确实 处 于 一 个 转 
折 点 ， 新 的 机 遇 出 现 了 。 导 致 这 一 变化 的 因素 有 : 

© 大 数据 越 来 越 受 欢迎 。 大 量 数据 的 管理 不 再 是 罕见 的 情况 ， 相 反 在 很 多 领域 都 变 得 

Bri: 科学 计算 、 企 业 应 用 程序 、 媒 体 娱乐 、 自 然 语言 处 理 和 社交 网 络 分 析 。 大 量 
的 数据 都 在 利用 新 的 和 更 有 效 的 数据 管理 技术 。 
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o 商业 链 的 数据 分 析 日 益 重 要 。 数 据 管理 不 再 被 认为 是 代价 ， 而 是 商业 利益 的 关键 元 
素 。 这 一 情况 出 现在 受 欢迎 的 社交 网 络 中 ， 就 像 Facebook， 它 把 焦点 集中 在 管理 用 
户 利 益 、 兴 趣 和 人 们 之 间 的 联系 。 不 断 挖掘 出 来 的 海量 数据 需要 新 的 技术 和 策略 来 
支持 数据 分 析 。 
o 数据 形式 多 样 ， 不 只 是 结构 化 。 正 如 先前 提 到 的 ， 如 今 构成 相关 信息 的 事物 显示 出 
了 开 构 的 性 质 ， 并 以 几 种 形式 和 格式 出 现 。 随 着 传统 企业 应 用 程序 和 系统 的 继续 使 
用 ,结构 化 数据 不 断 增长 ,但 同时 互联 网 技术 和 民主 化 的 发 展 ， 让 每 个 人 都 可 以 提 
取信 息 , 产生 了 海量 的 非 结 构 化 的 和 本 来 不 适合 关系 模型 的 信息 ， 互 联网 成 为 了 一 
个 每 个 人 都 能 收集 信息 的 平台 。 
o 计 其 的 新 方法 和 新 技术 。 云 计算 确保 了 可 以 获取 所 需 的 海量 计算 能 力 。 这 人 允许 工程 
师 设 计 可 以 逐步 扩展 到 任意 并 行 度 的 软件 系统 。 建 立 动态 部 署 在 数 百 或 数 千 节点 上 
的 软件 应 用 和 服务 不 再 罕见 ， 这 些 节点 可 能 只 在 几 个 小 时 或 几 天 中 属于 这 个 系统 。 
传统 的 数据 库 设 施 将 不 会 用 于 对 这 样 的 不 稳定 环境 提供 支持 。 
这 些 因 系 确定 了 对 于 新 的 数据 管理 技术 的 需求 。 这 不 仅 意 味 着 数据 库 技术 的 一 个 新 的 研 
究 议 程 和 一 个 更 全 面 的 信息 管理 方法 ， 还 为 关系 模型 的 替换 (或 补充 ) 留 有 空间 。 特 别 地 ， 
为 了 管理 以 文件 、 分 布 式 对 象 存储 和 NoSQL 运动 的 扩展 为 形式 的 原始 数据 的 分 布 式 文件 系 
统 的 发 展 ， 构 成 了 支持 数据 密集 型 计算 的 主要 方向 。 
1. 高 性 能 分 布 式 文件 系统 和 存储 云 
分 布 式 文件 系统 是 数据 管理 的 基本 支持 。 它 们 提供 了 一 个 接口 来 存储 文件 形式 的 信息 ， 
之 后 可 通过 谈 和 写 的 操作 访问 数据 。 在 文件 系统 的 寿 干 实现 中 ， 很 少 能 够 具体 解决 大 量 节 点 
上 的 海量 数据 管理 。 大 多 数 文件 系统 构成 了 数据 存储 支持 ， 这 些 支 持 针对 大 量 计算 群 、 超 级 
计算 机 、 大 量 并 行 架构 ， 以 及 最 近 出 现 的 存储 /计算 云 。 
Lustre. Lustre 文件 系统 是 一 个 大 量 并 行 分 布 式 文件 系统 ， 它 覆盖 了 从 小 的 工作 集群 到 
大 规模 计算 集群 的 需求 。 这 个 文件 系统 用 于 几 个 排名 前 500 超级 计算 系统 >， 包括 在 2012 年 
6 月 的 名 单 上 排名 第 一 的 超级 计算 机 。Lustre 可 提供 存储 PB 级 的 访问 ， 以 每 秒 数 百 GB 的 I/ 
O 传送 率 服务 数 以 千 计 的 用 户 。 这 个 系统 由 元 数据 服务 器 组 成 ， 包 括 文件 系统 的 元 数据 ， 以 
及 负责 提供 存储 的 对 象 存 储 服务 器 的 集合 。 用 户 通过 兼容 POSIX 的 客户 端 来 访问 文件 系统 ， 
此 客户 端 既 可 以 是 安装 在 内 核 中 的 模块 ， 又 可 以 通过 库 来 操作 。 这 个 文件 系统 实现 了 一 个 强 
大 的 故障 转移 策略 和 恢复 机 制 ， 使 得 服务 器 的 故障 和 恢复 对 于 客户 端 是 透明 的 。 
IBM 通用 并 行文 件 系统 ( GPFS)。GPFS[88] Æ IBM 开发 的 高 性 能 分 布 式 文件 系统 ， 
它 提 供 对 于 RS/6000 和 Linux 计算 集群 的 支持 。GPFS 是 一 个 历经 多 年 的 学 术 研 究 建立 的 多 
平台 分 布 式 文件 系统 ， 并 提供 了 先进 的 恢复 机 制 。GPFS 建立 在 共享 磁盘 上 ， 其 中 磁盘 的 集 
合 由 某 些 交 换 方式 附加 到 文件 系统 的 节点 上 。 该 文件 系统 使 这 一 基础 设施 对 于 用 户 透 明 ， 并 
有 目 通 过 将 部 分 文件 复制 到 磁盘 阵列 上 为 大 型 文件 加 条 纹 ， 以 保证 高 可 用 性 。 通 过 这 个 基础 设 
施 的 方法 ， 该 系统 能 支持 PB 级 的 高 传送 率 存储 ， 而 且 不 会 丢失 数据 的 一 致 性 。 与 其 他 实现 
相 比 ，GPFS 把 整个 文件 系统 的 元 数据 进行 分 布 并 提供 对 它 的 透明 访问 ， 以 此 消除 单 故障 点 。 
谷歌 文件 系统 ( GFS)。GFS[54] 是 一 个 支持 谷歌 计算 云 中 分 布 式 应 用 程序 执行 的 存储 
设施 。 这 个 系统 是 一 个 建立 在 商用 硬件 和 标准 Linux 操作 系统 上 的 容错 的 、 高 可 用 性 的 、 分 
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布 式 的 文件 系统 。 这 不 是 一 个 分 布 式 文件 系统 的 通用 实现 ，GFS 专门 针对 谷歌 在 应 用 程序 的 
分 布 式 存储 方面 的 需求 ， 按 照 以 下 假设 进行 设计 : 

© 该 系统 建立 在 经 常 出 错 的 商用 硬件 的 顶层 。 

© 该 系统 存储 适量 的 大 文件 。 多 GB 文件 是 普遍 的 而 且 应 该 得 到 有 效 的 处 理 ， 小 的 文件 

必须 被 支持 ， 但 没 必 要 优化 它 。 

e 工作 负载 基本 由 两 种 读 取 构成 :大 型 流 读 取 和 小 型 随机 读 取 。 

© 工作 负载 也 具有 将 数据 追加 到 文件 的 许多 大 量 和 连续 的 写 人 。 

o 带宽 的 高 持续 比 低 延 迟 更 重要 。 

该 文件 系统 的 架构 组 织 成 一 个 单一 的 主 设备 ， 它 包含 整个 文件 系统 的 元 数据 ， 以 及 一 个 
提供 存储 空间 的 块 服务 器 的 集合 。 从 逻辑 上 看 ,该 系统 由 软件 后 台 程 序 的 集合 组 成 ， 既 实现 
了 主 服务 器 又 实现 了 块 服务 器 。 文 件 是 块 的 集合 ， 块 的 大 小 可 以 由 文件 系统 级 别 确认 。 块 被 
复制 在 多 个 节点 以 实现 容错 功能 。 客 户 查询 主 服务 器 并 鉴别 他 们 想 要 访问 的 文件 的 具体 块 。 
一 旦 这 个 块 被 确定 ， 客 户 和 块 服务 器 之 间 的 联系 就 发 生 了 。 应 用 程序 通过 文件 系统 与 一 个 特 
定 的 界面 交互 ， 该 界面 支持 对 文件 的 建立 、 删 除 、 读 取 和 写 入 的 常规 操作 。 这 一 界面 也 文 持 
快照 和 记录 追加 的 操作 ， 这 些 操作 被 应 用 程序 频繁 地 执行 。GFS 一 直 认 为 大 型 分 布 式 基础 设 
施 中 的 失败 是 普遍 的 而 不 是 罕见 的 ， 因 此 ， 一 个 高 可 用 性 的 、 轻 量 级 的 和 容错 的 基础 设施 被 
给 予 特别 的 关注 。 通 过 给 予 在 其 他 任意 属于 该 设施 的 节点 上 复制 主 节点 的 可 能 性 ， 单 主 架 构 
故障 的 潜在 单一 节点 已 得 到 解决 。 此 外 ， 无 状态 的 守护 进程 和 广泛 的 日 志 记 录 能 力 有 助 于 故 
障 系统 的 恢复 。 

Sector. Sector(84] 是 支持 执行 数据 密集 型 应 用 程序 的 存储 云 ， 它 根据 Sphere 构架 定 
义 。 这 是 一 个 跨 广 域 网 的 可 应 用 于 商用 硬件 的 用 户 空间 文件 系统 。 与 其 他 文件 系统 相 比 ， 
Sector 不 把 文件 分 割 成 块 ， 而 是 在 多 个 节点 上 复制 整个 文件 ， 这 就 允许 用 户 自 定义 复制 策略 
以 达到 更 优 的 性 能 。 该 系统 的 架构 由 四 个 节点 组 成 : 一 个 安全 服务 器 ， 一 个 或 更 多 的 主 节 
点 ， 从 节点 和 客户 端 机 器 。 安 全 服务 器 维护 所 有 对 用 户 和 文件 的 访问 控制 策略 的 信息 ， 而 主 
服务 器 协调 和 服务 于 用 户 的 IO 请求， 这些 请 求 根 本 上 是 与 从 节点 交互 进行 文件 的 访问 。 用 
于 与 从 节点 交换 数据 的 协议 是 UDT[89] ， 它 是 一 个 轻 量 级 的 广域网 优化 的 面向 连接 的 协议 。 

亚马逊 简单 存储 服务 ( S3 )。 亚 马 逊 S3 是 亚马逊 提供 的 在 线 存储 服务 。 尽 管 它 的 内 在 
细节 没有 公开 ， 但 该 系统 声称 支持 高 可 用 性 、 可 靠 性 、 可 扩展 性 、 无 限 存储 和 低 延 迟 的 商业 
价值 。 该 系统 提供 组 织 成 桶 的 平面 存储 空间 ， 并 连接 到 亚马逊 网 络 服务 (AWS) 账户 。 每 一 
个 桶 能 够 存储 多 个 对 象 ， 每 个 对 象 以 一 个 唯一 的 关键 词 来 识别 。 对 象 以 唯一 的 URL 被 识别 
并 通过 HTTP 呈现 出 来 ， 允 许 非常 简单 的 读 / 取 语义 。 由 于 HTTP 的 使 用 ， 因 此 不 需要 任何 
特定 的 库 来 访问 存储 系统 ， 其 中 的 对 象 也 可 以 通过 Bit Torrent 协议 ?9 检索。 尽管 语义 简单 ， 
但 作为 本 地 文件 系统 的 一 部 分 ， 一 个 类 似 POSIX 的 客户 端 库 已 经 发 展 并 安装 到 $3 存储 桶 。 
除了 最 小 语义 ， 安 全 性 是 S3 的 另 一 个 限制 。 对 象 的 可 见 性 和 可 访问 性 与 AWS 客户 相连 ， 
桶 的 拥有 者 可 以 将 其 设置 为 对 于 其 他 客户 或 公众 可 见 。 定 义 验证 的 URL 也 是 可 能 的 ， 这 提 
供 了 在 有 限 的 (可 设置 的 ) 时 间 内 对 于 任何 人 的 公共 访问 权 。 

除了 这 些 存储 系统 的 例子 ， 还 有 其 他 分 布 式 文件 系统 和 存储 云 的 实现 ， 它 们 与 这 里 讨论 


© Bit Torrent 是 P2P 文件 共享 协议 ， 用 于 分 布 式 大 量 数据 。 该 协议 的 关键 特性 是 支持 用 户 从 多 主机 并 行 下 载 
文件 。 
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的 模型 架构 类 似 。 除了 S3 服务 ， 可 以 在 所 有 提 到 的 系统 中 简 述 一 个 通用 的 参考 架构 ， 它 确 
定 了 两 个 主要 和 角色， 在 这 两 个 角色 中 可 对 所 有 节点 进行 分 类 。 元 数据 或 主 节点 包含 了 关于 
文件 和 文件 块 位 置 的 信息 ， 而 从 节点 用 于 提供 对 存储 空间 的 直接 访问 。 这 个 架构 通过 客户 
库 来 完成 ， 它 提供 了 一 个 简单 的 访问 文件 系统 的 接口 ， 这 个 接口 在 一 定 程度 上 可 以 完全 兼 
容 POSIX 规范 。 参 考 架构 的 变化 可 以 包括 支持 多 主 节点 、 分 割 元 数据 到 多 节点 ， 以 及 节点 
角色 的 轻松 转换 能 力 。 所 有 不 同 的 实现 中 ， 最 重要 的 是 提供 容错 性 和 高 可 用 性 的 存储 系统 的 
能 力 。 

2. NoSQL 系统 

NoSQL (Not Only SQL) 一 词 最 早 于 1998 年 为 定义 一 个 关系 型 数据 库 而 提出 ， 它 没有 
公开 用 于 操作 和 碍 询 数 据 的 SQL 接口 ， 而 是 依靠 一 套 UNIX 软件 脚本 和 命令 来 操作 包含 实 
际 数据 的 文本 文件 。 从 非常 严格 的 意义 上 来 说 ，NoSQL 不 是 关系 型 数据 库 ， 因 为 它 不 是 一 
个 根据 关系 模型 来 组 织 信息 的 软件 ， 而 是 一 个 脚本 的 集合 ， 它 允许 用 户 将 文本 文件 作为 信 
县 存储 来 管理 大 部 分 最 简单 的 和 更 普通 的 数据 库 任 务 。 之 后 ， 在 2009 年 ， 为 了 标注 某 些 数 
据 库 管理 系统 ,术语 NoSQL 再 次 被 引入 ， 那 些 系 统 没 有 使 用 关系 模型 ， 而 是 提供 了 对 于 数 
据 处 理 的 更 简单 和 更 快速 的 选择 。 如 今 ，NoSQL 一 词 是 一 类 存储 和 数据 库 管 理 系统 的 总 称 ， 
这 类 系统 在 某 些 方面 与 关系 模型 不 同 。 它 们 的 一 般 理 念 是 克服 由 关系 模型 带 来 的 限制 ， 并 提 
供 更 多 有 效 的 系统 。 这 意味 着 不 使 用 固定 模式 的 标签 ， 以 适应 更 大 范围 的 数据 类 型 或 避免 横 
回 扩 大 性 能 和 规模 。 

两 个 主要 的 因素 决定 了 NoSQL 运动 的 发 展 : 在 很 多 情况 下 简单 的 数据 模型 足够 代替 应 
用 程序 中 使 用 的 信息 ， 而 且 非 结构 格式 中 包含 的 信息 数量 在 最 近 十 年 已 经 大 量 增长 。 这 两 个 
因素 使 软件 工程 师 要 寻找 更 适合 他 们 正在 从 事 的 特定 应 用 领域 的 替代 品 。 因 此 ， 一 些 不 同 的 
倡议 探索 了 非 关 系 型 存储 系统 的 使 用 ， 这 些 系统 各 自 不 同 。Wikipedia 给 出 了 一 个 广义 的 分 
HES ， 这 个 分 类 把 NoSQL 的 实现 分 为 : 

e 文档 存储 (Apache Jackrabbit, Apache CouchDB, SimpleDB, ，Terrastore ) 。 

e 图 表 (AllegroGraph, Neo4j, FlockDB, Cerebrum). 

e 键 - 值 存储 。 这 是 一 个 宏 分 类 ， 可 进一步 分 类 成 磁盘 上 的 键 - 值 存储 、RAM 中 的 

键 - 值 缓存 、 键 - 值 存储 等 级 、 最 终 一 致 性 键 - 值 存储 和 排序 键 - 值 存储 。 

o 多 值 数据 库 (OpenQM, Rocket U2, Openlnsight). 

o 23} #442 (ObjectStore, JADE, ZODB). 

o 表格 存储 (GK BigTable, Hadoop HBase, Hypertable). 

© 元 组 存储 (Apache River). 

下 面 介 绍 一 些 支持 数据 密集 型 应 用 程序 的 显著 成 就 。 

Apache CouchDB 和 MongoDB, Apache CouchDB[91] 和 MongoDB[90] 是 文档 存 
储 的 两 个 例子 。 它 们 都 提供 无 模式 存储 ， 其 中 主要 的 对 象 是 组 成 一 个 键 - 值 域 集 合 的 文 
件 。 每 个 域 的 值 可 以 是 字符 串 类 型 、 整 数 、 浮 点 数 、 日 期 或 数值 数组 。 该 数据 库 公 开 一 个 
RESTful 接口 ， 并 用 ISON 格式 表示 数据 。 这 些 都 允许 通过 MapReduce 编程 模型 查询 和 搜 
索 数 据 ， 使 用 JavaScript 而 不 是 SQL 作为 数据 查询 和 操作 的 基本 语言 ， 并 支持 大 文件 文档 。 
从 基础 设施 的 角度 ， 这 两 个 系统 支持 数据 复制 和 高 可 用 性 。CouchDB 获得 了 数据 的 ACID 


© http://en.wikipedia.com/wiki/NoSQL. 
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属性 。MongoDB 支持 分 片 ， 这 是 分 割 不 同 节点 集合 的 内 容 的 能 力 。 

亚马逊 Dynamo。Dynamo[92] 提供 分 布 式 键 - 值 存储 ， 它 支持 几 种 由 亚马逊 公司 提供 
的 商业 服务 的 信息 管理 。Dynamo 的 主要 目标 是 提供 一 个 可 扩展 规模 的 高 可 用 性 的 存储 系统 。 
这 个 目标 有 助 于 实现 大 规模 的 可 靠 性 ， 其 中 ， 由 数 千 服务 器 和 网 络 部 件 构建 的 基础 设施 为 每 
天 千 万 的 请 求 提供 服务 。Dynamo 提供 一 个 基于 读 / 取 语 义 的 简单 化 接口 ， 对 象 通过 接口 以 
唯一 的 标志 (E) 被 存储 和 取 回 。 构 建 一 个 极其 可 靠 的 基础 设施 的 主要 目标 已 经 对 这 些 系统 
的 性 质 强加 了 一 些 限 制 。 例 如 ， 为 了 追求 更 可 靠 和 有 效 的 基础 设施 ， 牺 牲 了 ACID 的 数据 性 
能 。 这 创建 了 最 终 一 致 性 模型 ， 它 意味 着 在 很 长 一 段 时 间 内 所 有 用 户 将 看 到 一 样 的 数据 . 

Dynamo 系统 的 架构 如 图 8-3 所 示 ， 由 存储 节点 的 集合 组 成 ， 这 些 节 点 组 成 了 一 个 为 应 
用 程序 共享 键 间 距 的 环 。 键 间距 在 存储 节点 间 分 开 ， 而 且 键 通过 环 进 行 复制 ， 而 不 是 通过 临 
近 的 节点 。 每 一 个 节点 具有 本 地 存储 设施 的 访问 权 ， 设 施 中 存储 着 原始 对 象 和 复 件 。 更 进 一 
步 ， 每 一 个 节点 提供 分 割 环 间 的 更 新 并 探测 错误 和 未 达到 节点 的 能 力 。 随 着 一 些 用 于 复制 和 
对 和 象 版 本 控制 的 一 致 性 模型 规范 的 放松 ，Dynamo 实现 了 总 是 写 入 存储 的 性 能 ， 该 存储 在 后 
台 解 决 数据 的 一 致 性 问题 。 这 个 方法 的 缺点 是 存储 模型 的 简单 化 ， 它 需要 应 用 程序 在 存储 系 
统 提供 的 简单 构件 的 顶层 建立 自己 的 数据 模型 。 例 如 ， 没 有 可 参照 的 完整 性 约束 ， 关 系 没有 
被 散人 存储 模型 中 ， 因 此 不 支持 连接 操作 。 这 些 限 制 在 亚马逊 服务 的 情况 下 没有 被 禁止 ， 因 
此 单一 键 = 值 模型 是 可 以 接受 的 。 





“插件 式 存储 引擎 
(DBD, MySQL) 
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谷歌 Bigtable。Bigtable[93] 是 分 布 式 存储 系统 ， 用 于 在 数 千 服 务 器 上 处 理 高 达 PB 级 
规模 的 数据 。Bigtable 提供 对 于 一 些 可 承受 不 同类 型 工作 负载 的 谷歌 应 用 程序 的 存储 支持 : 
从 面向 吞吐 量 的 批 处 理 作业 到 终端 用 户 数据 的 延迟 敏感 性 。Bigtable 的 设计 目标 是 广泛 的 适 
用 性 、 扩 展 型 、 高 性 能 和 高 可 用 性 。 为 了 达到 这 些 目 标 ，Bigtable 用 表格 组 织 数 据 存储 ， 表 
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格 的 行 在 支持 中 间 件 的 分 布 式 文件 系统 (谷歌 文件 系统 ) 中 被 分 割 。 从 逻辑 角度 看 ， 一 个 表 
格 是 一 个 以 关键 字 索 引 的 多 维 有 序 映 射 ， 关 键 字 以 任意 长 度 的 字符 串 表 示 。 表 格 被 组 织 成 行 
和 列 ， 列 可 以 被 组 织 成 列 族 ， 人 允许 特定 的 优化 以 实现 更 好 的 访问 控制 、 存 储 和 索引 数据 。 一 
个 简单 的 数据 访问 模型 构成 了 客户 应 用 程序 的 接口 ， 应 用 可 以 通过 一 行 中 单一 列 的 粒度 水 平 
找到 数据 。 此 外 ,每 一 个 列 值 以 多 版 本 存储 ， 这 些 版 本 可 以 由 Bigtable 或 客户 应 用 程序 自动 
标志 时 间 - 

除了 基本 的 数据 访问 ，Bigtable 的 API 也 允许 更 复杂 的 操作 ， 例 如 通过 Sazwall 脚本 
语言 [95] 或 MapReduce 的 API 进行 的 单行 事务 和 高 级 数据 操作 。 

图 8-4 给 出 了 Bigtable 基础 设施 的 描述 。 服 务 是 一 些 进 程 的 集合 ， 这 些 进程 与 其 他 进程 
共存 于 一 个 基于 集群 的 环境 。Bigtable 定义 了 两 种 进程 : 主 进程 和 子 表 服 务 进程 。 一 个 子 表 
服务 器 负责 服务 一 个 子 表 请 求 ， 子 表 是 一 个 表格 中 一 部 分 连续 改行 。 每 一 个 服务 器 可 以 管理 
多 个 子 表 (通常 是 10 ~ 1000 个 )。 主 服务 器 负责 跟踪 子 表 服 务 器 状态 和 子 表 服务 更 配置 的 
子 表 的 状态 。 服 务 器 不 断 地 监视 子 表 服 务 器 以 检查 它们 是 否 正 常 ， 如 果 发 现 子 表 服 务 锋 不 可 
连接 ， 配 置 的 子 表 将 被 重新 安排 并 最 终 分 配给 其 他 服务 器 。 
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图 8-4 Bigtable 架构 


Chubby[96] 是 一 个 分 布 式 、 高 可 用 性 且 持 久 的 锁 服 务 一 一 支持 主 服 务 器 和 子 表 服务 器 
的 活动 。Chubby 负责 系统 监视 和 数据 访问 ， 也 负责 管理 复 件 并 为 其 提供 一 致 性 。 在 最 底层 ， 


© Sazwall 是 Google 开发 的 一 种 解释 程序 编程 语言 ， 用 于 操作 大 数据 。 其 特定 功能 是 支持 由 读 取 值 或 者 从 输入 
计算 值得 到 统计 和 ， 其 他 功能 则 为 简单 的 PB 级 数据 的 并 行 处 理 。 
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数据 以 文件 的 形式 存储 在 谷歌 文件 系统 ， 且 所 有 更 新 操作 都 被 复制 在 文件 中 ， 以 便 遇 到 失败 
或 当 子 表 需 要 被 重新 分 配给 其 他 服务 器 时 ， 数 据 能 够 简单 地 进行 恢复 。Bigtable 使 用 特定 的 
文件 形式 以 存储 子 表 数据 ， 它 可 以 被 压缩 以 便 优化 数据 的 访问 和 存储 。 

Bigtable 是 谷歌 针对 分 布 式 应 用 需求 的 研究 结果 。 它 作为 一 个 存储 的 后 端 服务 于 60 个 
应 用 程序 (如 谷歌 个 性 化 搜索 、 和 谷歌 分 析 、 谷 歌 财 经 和 谷歌 地 球 )， 并 管理 PB 级 的 数据 。 

Apache Cassandra。Cassandra[94] 是 一 个 分 布 式 对 象 存储 ， 以 管理 分 散在 许多 商用 服 
务 器 中 的 海量 结构 化 数据 。 这 个 系统 用 于 防止 单一 故障 点 并 提供 高 可 徘 性 的 服务 。Cassandra 
最 初 由 Facebook 开发 ， 现 在 它 是 Apache Incubator 计划 的 一 部 分 ， 为 Facebook、Digg 和 
Twitter 等 超大 型 的 Web 应 用 提供 存储 支持 。Cassandra 被 定义 为 第 二 代 分 布 式 数据 库 ， 它 建 
立 在 遵循 完全 分 布 式 设计 的 亚马逊 Dynamo， 以 及 由 此 继承 了 “ 列 族 ” 概 念 的 谷歌 Bigtable 
的 理念 上 。Cassandra 揭示 的 数据 模型 基于 表格 的 理念 ， 实 现 了 以 关键 字 索 引 的 分 布 式 多 维 
表 。 对 应 于 一 个 键 的 值 是 一 个 高 度 结构 化 的 对 象 ， 并 构成 了 表 中 的 行 。Cassandra 将 表格 的 
行 组 织 为 列 ， 并 且 一 组 列 可 以 被 组 织 成 列 族 。 系 统 提 供 的 用 于 访问 和 操作 数据 的 API 非常 
简单 : 插入 、 取 回 和 删除 。 插 入 以 行 级 别 执行 ， 取 回 和 删除 可 以 在 列 级 别 操作 ，。 

在 基础 设施 方面 ，Cassandra 和 Dynamo 很 相似 。Cassandra 用 于 增值 扩展 ， 以 及 组 织 节 
点 的 集合 在 环 中 共享 键 间距 。 每 一 个 节点 管理 键 间距 的 多 个 且 不 连续 的 部 分 ， 并 复制 它 的 数 
据 到 X 个 其 他 节点 。 复 制 使 用 不 同 的 策略 ， 可 以 是 机 架 可 知 、 数 据 中 心 可 知 ， 或 机 架 不 可 
知 。 这 意味 着 决策 要 考虑 复制 是 否 需要 在 相同 的 集群 或 数据 中 心 ， 或 可 以 不 考虑 节点 的 地 理 
位 置 。 在 Dynamo 中 ， 节 点 关系 信息 基于 gossip 协议 ”。 其 他 任务 也 可 利用 Cassandra 的 信息 
扩散 模式 ， 例 如 传播 系统 的 控制 状态 。 每 个 节点 的 本 地 文件 系统 用 于 实现 数据 持久 性 ， 而 
H Cassandra 广 泛 使 用 提交 日 志 ， 以 使 系统 能 够 从 短暂 的 故障 中 恢复 。 每 个 写 操作 只 有 已 经 
被 记录 在 磁盘 后 才能 在 内 存 中 应 用 , "以 便 遇 到 故障 时 可 容易 地 重新 生成 。 当 内 存 中 的 数据 
达到 特定 的 大 小 ， 它 就 被 转 存 到 磁盘 上 。 读 操作 先 在 内 存 中 后 在 磁盘 上 执行 。 为 了 加 快 进 
程 ， 每 个 文件 包括 它 所 包含 的 键 的 概要 ， 使 得 搜索 一 个 关键 字 时 可 避免 不 必要 的 文件 扫描 。 

如 前 所 述 ，Cassandra 建立 在 Dynamo 和 Bigtable 的 设计 理念 上 并 把 它们 结合 起 来 以 实 
现 一 个 完全 分 布 式 和 高 可 靠 性 的 存储 系统 。 目 前 ，Cassandra 的 最 大 部 署 可 管理 分 布 在 150 
个 机 器 集群 上 的 100TB 级 的 数据 。 

Hadoop HBase。HBase 是 支持 Hadoop 分 布 式 编程 平台 的 存储 需求 的 分 布 式 数据 库 ， 
HBase 的 设计 灵感 来 源 于 谷歌 Bigtable， 它 的 主要 目标 是 通过 利用 商用 硬件 的 集群 来 提供 对 
于 十 亿 行 和 百 万 列 的 表格 的 实时 读 / 写 操 作 。HBase 内 部 的 架构 和 侵 辑 模型 与 谷歌 Bigtable 
很 相似 ， 整 个 系统 由 Hadoop 分 布 式 文件 系统 (HDFS) 支持 ， 模 仿 了 GFS 的 结构 和 服务 。 

这 一 部 分 讨论 了 支持 数据 密集 型 应 用 管理 的 存储 解决 方案 ， 尤 其 那些 涉及 大 数据 的 解决 
方案 。 传 统 数据 库 系 统 最 可 能 基于 关系 模型 ， 是 处 理 海量 数据 的 首要 方法 。 如 同 我 们 讨论 
的 ， 当 提 到 海量 非 结构 化 数据 时 ， 关 系 型 数据 库 变 得 不 现实 并 且 性 能 较 差 。 可 蔡 代 的 和 更 有 
效 的 方法 已 经 显著 地 检验 了 基于 分 布 式 文件 系统 和 存储 系统 的 基本 概念 。 下 一 阶段 是 提供 编 
程 平台 ， 该 平台 利用 本 节 提 到 的 存储 系统 ， 通 过 开发 者 的 努力 来 处 理 海量 数据 。 在 编程 平台 
中 ，MapReduce 及 其 所 有 演化 版 本 扮演 了 一 个 重要 的 角色 。 


© Gossip 协议 是 一 种 受 社交 网 络 中 流言 传播 启发 的 通信 协议 ， 是 一 种 用 于 分 布 式 系统 的 可 短 代 的 信息 分 布 和 伟 
播 方法 ， 效 率 与 洪 泛 及 其 他 类 似 算 法 相当 。 
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8.2.2 编程 平台 


数据 密集 型 应 用 的 编程 平台 提供 了 抽象 概念 ， 有 助 于 描述 大 量 信息 的 计算 ， 且 能 够 有 效 
管理 海量 数据 的 运行 时 系统 。 传 统 上 ， 基 于 关系 模型 的 数据 库 管 理 系统 已 经 被 用 来 描述 数据 
模型 实体 之 间 的 结构 和 联系 。 这 种 方法 在 大 数据 的 情况 下 被 证 明 是 不 成 功 的 ， 这 里 的 信息 大 
囊 分 是 非 结 构 化 的 或 半 结 构 化 的 ， 并 且 在 数据 库 中 数据 大 多 可 能 以 大 型 文件 或 大 量 中 等 大 小 
文件 的 形式 组 织 ， 而 不 是 行 的 形式 。 分 布 式 工作 流 经 常用 来 分 析 和 处 理 大 量 数据 [66，67]。 
该 方法 引入 了 针对 工作 流 管理 系统 的 大 量 框 架 ， 如 7.2.4 节 所 讨论 的 ， 最 终 利 用 云 计算 提供 
的 弹性 特征 合并 各 项 功能 [70]。 这些 系统 主要 基于 任务 的 抽取 ， 任 务 给 开发 者 带 来 很 大 的 
着 担 ， 他 们 震 要 处 理 数 据 管 理 和 经 党 出 现 的 数据 转换 的 问题 。 

数据 密集 型 计算 的 编程 平台 提供 更 高 级 别 的 抽取 ， 专 注 于 数据 处 理 并 将 传输 管理 移动 
到 运转 时 系统 ， 这 样 使 数据 在 需要 的 地 方 总 是 具备 可 用 性 。 这 是 MapReduce[55] 编程 平台 
遵循 的 方法 ， 它 用 两 种 简单 的 功能 形式 描述 计算 一 一 map 和 reduce 一 一 并 隐藏 了 管理 文 持 这 

平台 的 分 布 式 文件 系统 中 海量 数据 文件 的 复杂 性 。 本 节 讨 论 MapReduce 的 特性 及 其 变化 ， 
这 些 变化 扩展 了 MapReduce 的 性 能 ， 使 其 应 用 范围 更 加 广泛 。 

1. MapReduce 编程 模型 

MapReduce[55] 是 谷歌 引入 的 用 于 处 理 海 量 数 据 的 编程 平台 ， 它 通过 两 个 简单 的 函数 
表达 应 用 的 计算 迎 辑 : map 和 reduce。 数 据 转 换 和 管理 完全 通过 分 布 式 存储 基础 设施 处 理 
(如 谷歌 文件 系统 )， 负 责 提供 数据 访问 、 文 件 复制 以 及 将 最 终 将 文件 移动 到 需要 的 地 方 。 因 
此 ， 开 发 者 不 必 再 处 理 这 些 问题 ， 而 是 可 以 利用 更 高 级 别 的 数据 表示 接口 : 键 - 值 对 的 集 
合 。MapReduce 应 用 程序 的 计算 被 组 织 成 map 和 reduce 操作 的 工作 流 ， 它 完全 由 运转 时 间 
系统 控制 ， 开 发 者 仅 需 要 详细 说 明 map 和 reduce 如 何 操作 键 - 值 对 。 

MapReduce 模型 精确 表示 为 两 个 限 数 形式 ， 定 义 如 下 : 

map(kl], vl) — list(k2, v2) 
reduce(k2, list(v2)) — list(v2) 

map 函数 读 取 一 个 键 - 值 对 并 产生 一 列 不 同类 型 的 键 - 值 对 。reduce 函数 读 取 由 键 和 
: 列 值 组 成 的 一 个 对 ， 并 产生 一 个 相同 类 型 的 值 的 列表 。 两 个 函数 描述 中 使 用 的 (kl1，v1， 
k2, v2) 类 型 说 明了 这 两 个 函数 如 何 结合 起 来 执行 以 进行 MapReduce 计算 : map 任务 的 输 
出 根据 相应 的 键 将 值 分 组 ， 以 这 种 方式 合并 在 一 起 ， 并 构成 reduce 任务 的 输入 ， 对 于 每 个 
找到 的 键 ， 此 任务 就 是 将 附加 值 的 列表 减少 为 单个 值 。 因 此 ，MapReduce 计算 的 输入 被 描 

述 成 键 - 值 对 <k1，vl> 的 集合 ， 最 终 输出 由 值 的 列表 表示 : list (v2 )。 

图 8-5 描绘 了 MapReduce 计算 的 参考 工作 流程 。 如 图 所 示 ， 用 户 提 交 一 个 以 <kl1，vl> 
对 形式 描述 的 文件 集合 并 指定 map 和 reduce 函数 。 这 些 文件 进入 支持 MapReduce 的 分 布 式 
系统 ， 并 且 在 必要 时 被 分 割 为 map 任务 的 输入 。map 任务 产生 了 存储 <k2, list (v2) > 对 
的 中 间 文 件 ， 这 些 文件 被 保存 在 分 布 式 文件 系统 。MapReduce 运行 时 可 最 终 聚 集 与 相同 键 
相关 的 值 。 这 些 文件 组 成 reduce 任务 的 输入 ， 以 list (v2) 的 形式 产生 输出 文件 。 由 reduce 
任务 执行 的 操作 通常 代表 由 一 个 特定 键 map 的 所 有 值 的 集合 。map 的 数量 和 创建 的 reduce 
任务 、 文 件 根据 其 任务 被 划分 的 方式 以 及 连接 到 单一 reduce 任务 的 map 任务 的 数量 ， 都 是 
MapReduce 运行 时 需要 负责 的 。 此 外 ， 支 持 MapReduce 的 分 布 式 文件 系统 还 要 负责 文件 的 
存储 和 移动 。 
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图 8-5 MapReduce 计算 工作 流 


MapReduce 表示 的 计算 模型 非常 简单 ， 为 编码 处 理 大 量 数据 算法 的 人 员 提 供 了 更 高 的 
效率 。 这 一 模型 在 谷歌 的 案例 中 已 被 证 明 是 成 功 的 ， 这 里 需要 被 处 理 的 大 部 分 信息 以 文本 的 
形式 存储 ， 并 以 网 页 或 日 志文 件 表示 。 一 些 展 示 MapReduce 灵活 性 的 例子 如 下 [55]: 

分 布 式 grep。 在 文本 流 中 执行 模式 识别 的 grep 操作 ， 通 过 广泛 的 文件 集 来 运行 
MapReduce 用 于 提供 这 一 操作 的 并 行 和 更 快 的 执行 。 在 这 一 情况 下 ， 输 入 文件 是 
一 个 简单 的 文本 文件 ， 每 一 次 识别 出 给 定 的 模式 时 ，map 函数 发 射 一 条 线 到 输出 ， 
reduce 任务 将 map 任务 发 出 的 所 有 线 汇聚 到 一 个 单一 文件 。 

URL 访问 频率 计数 。MapReduce 用 于 分 配 Web 服务 器 日 志 分 析 的 执行 。 在 这 一 情况 
F, map 函数 需要 输入 一 个 Web 服务 器 的 日 志 ， 并 对 于 日 志 中 记录 的 每 一 页 访问 发 
射 一 个 键 - 值 对 <URL，1> 到 输出 文件 。reduce phi BiH WAAAY URL 汇聚 所 有 线 ， 
由 此 得 出 单一 访问 ， 并 输出 <URL ，total-count> 对 。 

反 向 网 络 链接 图 。 反 加 网 络 链接 图 跟踪 所 有 可 能 导致 一 个 给 定 链接 的 网 页 。 在 这 一 
情况 下 输入 文件 是 简单 的 由 map 任务 扫描 的 HTML 页 面 ， 它 为 网 页 源 发 现 的 每 个 链 
接 发 射 <target, source> Xf, reduce 任务 将 校对 所 有 的 对 ， 如 果 这 些 对 有 相同 目标 就 
成 为 <target, list (source) > 对 。 最 后 的 结果 给 出 一 个 或 更 多 包含 这 些 映射 的 文件 。 
每 个 主机 的 词 向 量 。 词 向 量 重 述 最 重要 的 文字 ， 它 们 出 现在 一 组 <word，frequency> 
列表 形式 的 文档 中 ， 其 中 出 现 的 单词 数量 是 其 重要 性 的 度量 。MapReduce 用 于 提供 
一 组 文档 的 源 和 其 相应 的 词 向 量 之 间 的 映射 ， 这 个 源 是 作为 文档 URL 的 主机 部 分 被 
获得 的 。 在 这 种 情况 下 ，map 任务 为 每 一 个 检索 的 文本 文档 创建 一 个 <host，term- 
vector> 对 ， 并 且 reduce 任务 汇聚 了 与 从 相同 主机 检索 的 文档 相对 应 的 词 向 量 。 

反 向 索引 。 反 向 索引 包含 文档 中 文字 表示 的 信息 。 相 比 于 直接 扫 撒 文件 ， 这 些 信 息 
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在 允许 快速 全 文 搜索 时 是 有 用 的 。 在 这 一 情况 下 ，map 任务 需要 输入 一 个 文件 ， 并 
为 每 一 个 文档 发 射 一 个 <word,document-id> 集合 。reduce 函数 汇集 出 现 的 相同 文字 ， 
并 产生 一 个 <word, list (document-id) > Xt, 

分 布 式 排序 。 在 这 种 情况 下 ，MapReduce 用 于 对 大 量 记 录 进 行 排 序 操 作 的 并 行 执行 。 
这 一 应 用 多 依赖 于 MapReduce 的 运行 时 特性 ， 即 排序 和 创建 部 分 中 间 文 件 ， 而 不 是 
由 map 和 reduce 任务 执行 操作 。 事 实 上， 这 些 是 非常 简单 的 : map 任务 从 一 个 记录 
中 抽取 键 并 为 每 一 个 记录 分 配 一 个 <key，record> 对 ，reduce 任务 将 简单 地 复制 所 有 
对 。 实 际 的 排序 处 理由 MapReduce 运行 时 完成 ， 它 会 通过 键 对 记录 排序 以 分 配 键 - 
值 对 。 

报道 的 例子 大 多 关注 基于 文本 的 处 理 。 通 过 一 些 改 进 ，MapReduce 也 可 以 用 来 解决 更 
三 沁 的 问题 。 一 个 有 趣 的 例子 是 它 在 机 器 学 习 领 域 中 的 应 用 程序 [97] ， 其 中 支持 向 量 机 
(SVM)、 线 性 回归 (LR)、 朴 素 贝 叶 斯 (NB) 和 神经 网 络 (NN) 等 统计 算法 以 map 和 reduce 
曙 数 的 形式 表示 。 其 他 有 趣 的 应 用 可 以 在 计算 密集 型 应 用 程序 领域 中 发 现 ， 比 如 高 精确 度 Pi 
的 计算 。 据 报道 雅虎 Hadoop 集群 已 经 被 用 来 计算 Pi 的 105 + 1122. Hadoop 是 MapReduce 
平台 的 一 个 开源 实现 。 

通常 ， 任 何 能 以 两 个 主要 阶段 形式 表示 的 计算 都 可 以 用 MapReduce 计算 形式 表达 。 这 
两 个 阶段 是 : 

© 分 析 。 这 一 阶段 直接 对 数据 输入 文件 进行 操作 ， 并 与 map 任务 执行 的 操作 保持 一 致 。 

此 外 ， 这 一 阶段 的 计算 期 望 是 高 度 并 行 的 ， 因 为 map 任务 没有 执行 任何 测序 或 排序 。 

© 聚集。 这 一 阶段 对 中 间 结 果 进 行 操作 ， 特 点 为 肾 集 、 总 结 和 阐述 前 一 阶段 获得 的 数 

据 并 以 最 终 形 式 表示 这 些 数据 。 这 是 由 reduce 图 数 完成 的 任务 。 

这 一 模型 的 改进 大 多 关注 适当 的 键 的 识别 ， 在 原始 问题 没有 这 样 的 模型 时 创建 合理 的 
键 ， 还 有 发 现在 map 和 reduce 图 数 之 间 分 割 计 算 的 方式 。 此 外 ， 更 多 的 复杂 算法 可 以 被 分 
解 为 多 个 MapReduce 程序 ， 这 里 一 个 程序 的 输出 构成 下 一 个 程序 的 输入 。 

MapReduce 提出 的 抽象 提供 给 开发 者 一 个 很 小 的 接口 ， 此 接口 更 关注 算法 的 实现 而 不 
是 执行 它 的 基础 设施 。 这 是 一 个 非常 有 效 的 方法 ,但 同时 需要 大 量 的 常见 任务 ， 这 些 常 见 任 
务 集中 于 分 布 式 应 用 运行 时 的 管理 ， 允 许 用 户 只 通过 指定 配置 参数 来 控制 应 用 程序 的 行为 。 
这 些 任务 在 分 布 式 基础 设施 上 管理 数据 传输 ， 并 且 安 排 map Fil reduce 任务 。 图 8-6 根据 谷 
欢 提 出 的 实现 方案 [55] 提供 了 更 完整 的 MapReduce HR. 

如 图 8-6 所 示 ， 用 户 通 过 使 用 客户 库 提 交 MapReduce 工作 的 执行 ， 这 些 客户 库 负 责 提 
交 输 入 数据 文件 ， 记 录 map F reduce 函数 ， 一 旦 完成 工作 便 向 用 户 返还 控制 。 一 般 的 分 布 
式 基 础 设施 配 有 工作 规划 能 力 ， 而 且 分 布 式 存储 可 用 于 运行 MapReduce 应 用 程序 。 两 个 不 
同 种 类 的 进程 在 分 布 式 基础 设施 上 运行 : 主 进程 和 工作 进程 。 

主 进程 负责 控制 map 和 reduce 任务 的 执行 、 分 割 以 及 重新 组 织 由 map 任务 产生 的 中 间 
输出 ， 以 便 满足 reduce 任务 。 工 作 进 程 用 于 保持 map 和 reduce 任务 的 执行 ， 并 用 输入 和 输 
出 文件 提供 用 于 连接 map All reduce 任务 的 基本 IO 设施 。 在 MapReduce 计算 中 ， 输 入 文件 
最 初 被 分 割 (通常 16 ~ 64MB) 并 存储 在 分 布 式 文件 系统 中 。 主 进程 产生 map 任务 并 通过 


O 详细 的 计算 方法 见 Yahoo 开发 者 网 络 博客 ， 网址 : http://developer.yahoo.com/blogs/hadoop/posts/2009/05/ 
hadoop computes the 10151st_bi/。 
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图 8-6 谷歌 MapReduce 基础 设施 概览 


工作 进程 有 输入 和 输出 缓冲 区 ,缓冲 区 用 于 优化 map fll reduce 任务 的 性 能 。 特 别 地 ， 
map 任务 的 输出 缓冲 区 会 定期 转 存 到 磁盘 以 创建 中 间 文 件 。 中 间 文 件 通 过 用 户 定义 的 函数 
被 分 割 ， 以 均衡 map 任务 的 输出 。 然 后 这 些 对 的 位 置 被 通知 给 主 进程 ， 主 进程 把 这 一 信息 
RIE reduce 任务 ,为 了 从 map 任务 的 本 地 存储 中 读 取 ，reduce 任务 可 以 通过 远程 过 程 调 
用 收集 需要 的 输入 。 键 的 范围 进而 被 排序 ， 并 且 相 同 的 键 被 组 织 在 一 起 。 最 后 ， 执 行 reduce 
任务 以 产生 最 终 和 输出 ， 输 出 被 存储 在 全 局 文件 系统 。 这 一 进程 是 完全 自动 的 ， 用 户 可 通过 参 
数 配 置 来 控制 它 ， 这 些 参数 允许 指定 (在 map All reduce 函数 之 间 ) map 任务 数量 ， 分 割 成 
最 终 输 出 的 分 割 数量 ， 以 及 中 间 键 范围 的 分 割 函 数 。 

除了 精心 安排 map 和 reduce 任务 按照 先前 描述 的 方式 执行 ，MapReduce 运行 时 还 通过 
提供 一 个 容错 的 基础 设施 来 保证 应 用 程序 的 可 靠 执 行 。 主 进程 和 工作 进程 的 故障 处 理 方式 
同 使 中 间 输 出 不 可 访问 的 机 器 故障 的 处 理 方式 一 样 ， 即 在 其 他 地 方 重新 安排 map 任务 。 由 
于 有 效 的 map 任务 的 中 间 输 出 变 得 无 法 访问 ， 所 以 这 也 是 一 种 用 于 找 出 机 器 故障 的 技术 。 
主 进程 故障 反而 使 用 检查 点 来 寻找 ， 检 查 点 技术 允许 以 最 小 的 数据 和 计算 的 丢失 来 重启 
MapReduce 工作 。 

2. MapReduce 的 变形 和 扩展 

MapReduce 是 一 个 简化 的 处 理 海 量 数 据 的 模型 ， 并 且 施 加 了 组 织 分 布 式 算法 以 运行 
在 MapReduce 基础 设施 的 约束 。 虽 然 这 一 模型 可 以 被 运用 在 几 个 不 同 的 问题 场景 中 ， 但 
它 仍然 有 局 限 性 ， 大 多 是 因为 处 理 数 据 的 抽象 概念 非常 简单 ， 对 于 复杂 问题 ， 只 用 map 和 
reduce 形式 表示 可 能 需要 付出 相当 大 的 努力 。 因 此 ， 人 们 提出 了 一 系列 原始 MapReduce 模 
型 的 扩展 和 变形 。 它 们 和 旨 在 扩展 MapReduce 应 用 程序 的 空间 ， 并 提供 给 开发 者 一 个 更 简单 
的 接口 以 便 设 计 分 布 式 算法 。 本 节 简 要 介绍 类 似 MapReduce 构架 的 集合 ， 并 讨论 它们 与 原 
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始 MapReduce 模型 的 不 同 。 
Hadoop。Apache 的 Hadoop[83] 是 一 个 用 于 可 靠 和 可 扩展 分 布 式 计 算 的 软件 工程 的 集 
合 。 总 体 来 说 ， 整 个 集合 是 一 个 由 类 似 GFS 分 布 式 文件 系统 支持 的 MapReduce 架构 的 开源 
实现 。 该 倡议 主要 包括 两 个 项 目 : Hadoop 分 布 式 文件 系统 ( HDFS) 和 Hadoop MapReduce, 
前 者 是 谷歌 文件 系统 [54] 的 实现 ， 后 者 提供 与 谷歌 MapReduce 相同 的 特性 与 抽象 。Hadoop 
最 初 由 雅虎 开发 和 支持 ， 现 在 已 成 为 最 成 熟 和 最 大 的 数据 云 应 用 ， 并 有 一 个 支持 它 的 开发 者 
和 用 户 组 成 的 非常 强大 的 团体 。 雅 虎 现在 运行 着 世界 上 最 大 的 Hadoop 集群 ， 由 40000 台 机 
ar Al 300000 多 个 中 心 组 成 ， 全 世界 的 学 术 机 构 都 可 使 用 这 一 集群 。 除 了 Hadoop 的 核心 工 
程 ， 其 他 相关 工程 的 集群 也 为 分 布 式 计算 提供 服务 。 
Pig。Pig” 是 一 个 分 析 大 量 数据 集 的 平台 。 作 为 一 个 Apache FEMA, Pig 由 表示 数 
据 分 析 程 序 的 高 级 语言 以 及 用 于 评估 这 些 程序 的 基础 设施 组 成 。Pig 的 基础 设施 层 包 括 一 
个 用 于 产生 MapReduce 工作 序列 的 高 级 语言 的 编译 需 ， 它 可 以 运行 在 如 同 Hadoop 的 分 布 
式 基 础 设施 的 顶层 。 开 发 者 可 以 用 一 种 叫 作 Pig Latin 的 文本 语言 编写 数据 分 析 程 序 ， 这 
需要 一 个 类 似 SQL 的 接口 ， 其 特点 是 以 表现 性 为 主 、 较 少 的 编程 工作 ， 以 及 一 个 熟悉 的 
MapReduce 接口 。 
Hive。Hive 是 Apache 的 另 一 个 倡议 ， 它 在 Hadoop MapReduce 的 顶层 提供 一 个 数 
据 仓 库 基础 设施 。 它 提供 了 用 于 简单 数据 汇总 的 工具 、ad hoc 查询 以 及 存储 在 Hadoop 
MapReduce 文件 的 大 量 数据 集 的 分 析 。 虽 然 这 一 构架 提供 与 传统 数据 仓库 相同 的 功能 ， 却 
没有 展现 出 相同 的 性 能 ， 尤 其 是 查询 延迟 ， 由 于 这 一 原因 ，Hive 不 是 一 个 解决 网 上 交易 处 
理 的 有 效 方法 。Hive 的 主要 优势 在 于 向 外 扩展 的 能 力 ， 原 因 是 它 基 于 Hadoop 构架 ， 并 且 在 
已 有 Hadoop 系统 运行 的 环境 下 具有 提供 数据 仓库 基础 设施 的 能 力 。 
Map-Reduce-Merge。Map-Reduce-Merge[98] 是 MapReduce 模型 的 扩展 ， 将 第 三 阶段 
( Merge 阶段 ) 引入 标准 MapReduce 渠道 ， 人 允许 对 已 分 割 的 数据 进行 有 效 地 融合 并 用 map 和 
reduce 模块 分 类 (或 哈 希 排序 ) Map-Reduce-Merge 框架 简化 了 异 构 的 相关 数据 集 的 管理 ， 
并 提供 一 个 能 够 表示 普通 关系 代数 运算 符 和 一 些 连 接 算法 的 抽象 。 
Twister。Twister[99] 是 MapReduce EAI HIH E, YFEL MapReduce 工作 的 迭代 执 
行 。 相 对 于 正常 的 MapReduce WIK, Twister 提出 的 这 一 模型 加 入 了 以 下 扩展 : 
e 配置 map. 
e HE reduce, 
e 条 件 为 真 时 ， 执 行 以 下 操作 : 
e 运行 MapReduce。 
e 对 结果 应 用 连接 操作 。 
e 更 新 条 件 。 
e 关闭 。 
除了 和 迭代 MapReduce 计算 ，Twister 还 提供 附加 功能 。 比 如 查询 静态 内 存 数 据 的 map 和 
reduce 任务 的 能 力 ; 引入 名 为 combine 的 附加 阶段 ， 该 队 段 在 MapReduce 工作 的 结尾 运行 ， 
将 输出 聚集 在 一 起 ; 以 及 用 于 数据 管理 的 其 他 工具 。 


© http://pig.apache,org/。 
© http://hiye.apache.org/。 
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3. MapReduce 的 替代 品 

MapReduce 和 其 他 抽象 为 处 理 大 量 数据 集 提 供 支持 并 执行 数据 密集 型 工作 负载 。 这 皇 
替代 品 从 不 同 的 程度 展现 出 一 些 与 MapReduce 方法 的 相似 性 。 

Sphere。Sphere[84] 是 利用 Sector 分布 式 文件 系统 (SDFS) 的 分 布 式 处 理 引 擎 。 
Sphere 不 是 MapReduce 的 改版 ， 它 实现 了 流 处 理 模 型 (单一 程序 ， 多 个 数据 ) 并 允许 开发 
者 以 用 户 定义 函数 (UDF) 的 形式 表示 计算 ，UDF 是 针对 分 布 式 基 础 设施 运行 的 。UDF 的 
一 个 特定 组 合 允 许 Sphere 表示 MapReduce 计算 。Sphere 充分 利用 Sector 分 布 式 文件 系统 ， 
并 建立 在 Sector 用 于 数据 访问 的 API 的 顶层 。UDF 根据 读 写 流 的 程序 来 表示 。 流 是 一 种 数 
据 结 构 ， 此 数据 结构 提供 在 SDFS 中 映射 到 一 或 多 个 文件 数据 段 的 集合 的 访问 。UDF 的 集 
体 执行 通过 Sphere 处 理 引 擎 (SPE) 的 分 布 式 执行 来 实现 ，SPE 以 一 个 给 定 的 流 段 被 分 配 。 
这 一 执行 模型 是 一 个 客户 端 控制 的 主 - 从 模型 ，Sphere 客户 端 向 主 节 点 发 送 处 理 请 求 ， 主 
节点 返回 可 用 的 从 节点 列表 ， 客 户 端 选 择 从 节点 ， 在 从 节点 上 将 执行 Sphere 进程 并 安排 整 
个 分 布 式 执行 。 

All-Pairs。All-Pairs[100] 是 一 个 抽象 和 运行 时 环境 ， 以 优化 数据 密集 型 工作 负载 
的 执行 。 它 提供 一 个 简单 的 抽象 ， 即 All-Pairs 函数 ， 这 在 很 多 科学 计算 领域 是 普遍 存 
在 的 : 

All-pairs (A:set,B:set,F:function) 一 M: matrix 

能 用 这 一 模型 表示 的 问题 的 例子 出 现在 生物 统计 学 领域 ， 这 里 相似 性 矩阵 由 几 个 包含 主 
题 图 片 的 图 像 比较 结果 构成 。 另 一 个 例子 是 数据 挖掘 中 的 几 个 应 用 程序 和 算法 。 由 All-pairs 
限 数 表示 的 模型 可 以 用 以 下 算法 容易 地 解决 : l 

For each $i in A 

For each $j in B 
Submit job F $i $j 

这 一 实现 非常 不 成 熟 ， 并 且 在 一 般 情况 下 会 产生 较 差 的 性 能 。 此 外 ， 数 据 分 割 、 发 送 延 
迟 、 可 用 计算 节点 的 数量 以 及 故障 几率 等 其 他 问题 并 没有 进行 专门 处 理 。All-pairs 模型 试图 
通过 引入 一 个 问题 本 质 的 规范 和 一 个 引擎 解决 这 些 问题 ， 该 引 警 根据 这 一 规范 在 传统 集群 或 
网 格 设施 上 优化 任务 的 分 配 。 分 布 式 应 用 的 执行 由 引擎 控制 ， 经 过 四 个 发 展 阶段 : 模拟 系 
统 、 分 配 数 据 、 调 度 批 处 理 作业 和 清理 系统 。 这 一 模型 的 前 两 个 阶段 更 受 关注 ， 在 这 两 阶段 
中 系统 的 性 能 模型 被 建立 并 且 数 据 被 随机 分 配 ， 以 便 创建 最 佳 的 任务 数量 来 安排 给 每 个 节点 
并 优化 基础 设施 的 利用 。 

DryadLINQ. Dryad[101] 是 一 个 微软 研究 项 目 ， 它 为 并 行 写 人 和 从 小 的 集群 到 大 的 数 
据 中 心 的 分 布 式 程序 研究 编程 模型 。Dryad 的 目标 是 为 自动 并 行 应 用 程序 的 执行 提供 基础 设 
施 ， 而 不 要 求 开 发 者 知道 分 布 式 和 并 行 编程 。 

在 Dryad 中 ， 开 发 者 可 将 分 布 式 应 用 程序 表示 成 一 组 由 信道 方式 连接 的 顺序 程序 。 更 
精确 的 是 ， 一 个 Dryad 计算 可 以 用 一 个 有 向 无 环 图 的 形式 表示 ， 其 中 节点 是 顺序 执行 的 程 
F, 顶点 表示 连接 这 类 程序 的 通道 。 由 于 这 一 结构 ，Dryad 被 认为 是 超级 MapReduce 模型 ， 
因为 它 的 一 般 应 用 模型 也 允许 表示 代表 MapReduce 计算 的 图 。Dryad 的 一 个 有 趣 的 特征 是 
文 持 图 形 (在 一 定 程度 上 ) 和 分 区 的 动态 修改 的 能 力 ， 如 果 可 能 ， 还 支持 图 形 到 阶段 的 执 
行 。 这 一 基础 设施 用 于 服务 并 行 编程 的 不 同 应 用 和 工具 。 在 它们 中 间 ，DryadLINQ[102] 是 
一 个 从 语言 综合 查询 (LINQ) 扩充 到 C#[103] 的 产生 Dryad 计算 的 编程 环境 。 由 此 产生 的 
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FESR HEE SAES NET 框架 融合 的 解决 方法 ， 并 能 够 表示 几 个 分 布 式 计 算 模 型 ， 包 括 
MapReduce. 


8.3 Aneka MapReduce 编程 


Aneka 遵循 由 谷歌 引进 和 Hadoop 实现 的 参考 模型 ， 提 供 了 一 个 MapReduce 抽象 的 实 
现 ， 文 持 MapReduce 作为 一 个 可 用 于 开发 分 布 式 应 用 的 程序 模型 。 


8.3.1 MapReduce 编程 模型 简介 


MapReduce 编程 模型 为 开发 Aneka 顶层 的 MapReduce 应 用 程序 定义 了 抽象 和 运行 时 
支持 。 图 8-7 提供 了 Aneka MapReduce 基础 设施 的 概览 。 谷 歌 MapReduce 或 Hadoop 中 的 
作业 与 Aneka MapReduce 应 用 程序 的 执行 相 协 调 。 应 用 通过 识别 使 用 的 map 和 reduce R 
数 的 组 件 实例 被 具体 化 。 这 些 函 数 表示 成 Mapper 和 Reducer 类 的 形式 ， 两 个 类 是 从 Aneka 
MapReduce 的 API 扩展 来 的 。 运 行 时 支持 由 三 个 主要 元 素 组 成 : 

e MapReduce 计划 服务 ,扮演 谷歌 和 Hadoop 实现 中 主 进程 的 角色 。 

e MapReduce 执行 服务 ,扮演 谷歌 和 Hadoop 实现 中 工作 进程 的 角色 。 

© 一 个 用 于 移动 数据 文件 的 特定 分 布 式 文件 系统 。 
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图 8-7 Aneka MapReduce 基础 设施 
客户 端 组 件 ， 即 MapReduce 应 用 程序 ， 用 于 提交 MapReduce 作业 的 执行 ， 上 载 并 监视 
数据 文件 。 数 据 文 件 的 管理 是 透明 的 : 本 地 数据 文件 自动 加 载 到 Aneka， 有 请 求 时 ， 输出 文 


件 自动 下 载 到 客户 机 。 
以 下 将 介绍 这 些 主要 的 组 件 并 描述 它们 是 怎样 协作 执行 MapReduce 作业 的 。 


200 常 二 部 分 ， 云 应 爵 编 程 与 Aneka $F 


1. 编程 抽象 

Aneka 在 分 布 式 应 用 的 背景 中 执行 任何 一 段 用 户 代 码 。 这 一 方法 甚至 在 MapReduce 编 
程 模型 中 也 得 到 保持 ， 此 编程 模型 中 MapReduce 作业 (在 谷歌 MapReduce 和 Hadoop 使 用 ) 
的 思想 与 Aneka 应 用 的 思想 之 间 有 自然 映射 。 一 旦 用 户 定 义 了 map 和 reduce 图 数 ， 这 一 任 
务 创 建 就 不 是 用 户 的 而 是 基础 设施 的 责任 了 ， 这 一 点 与 其 他 编程 模型 不 同 。 因 此 ，Aneka 
MapReduce 的 API 为 开发 者 提供 开发 Mapper 和 Reducer 类 型 的 基本 分 类 并 使 用 特定 类 型 的 
应 用 分 类 ， 即 MapReduce 应 用 程序 ， 以 更 好 地 满足 这 一 编程 模型 的 需求 。 

图 8-8 提供 了 定义 MapReduce 编程 模型 的 客户 端 组 件 的 概览 。 有 三 个 类 是 应 用 开发 感 
兴趣 的 : Mapper<K，V>，Reducer<K，V> 和 MapReduceApplication<M，R>。 其 他 类 则 用 
于 内 部 实现 这 一 模型 需要 的 所 有 函数 ， 并 提供 简单 的 接口 ， 这 些 接口 需要 最 少 的 代码 去 实现 
map 和 reduce 函数 以 及 控制 作业 提交 。Mapper<K，V> 和 Reducer<K，V> 是 应 用 设计 和 实 
现 的 起 点 。 模 板 特 化 用 于 记录 这 两 个 函数 操作 的 键 和 值 。 泛 型 以 对 象 操 作 的 形式 为 map 和 
reduce 方法 提供 了 一 个 更 自然 的 方法 ， 并 通过 去 除 计算 必要 性 和 其 他 类 型 的 检查 操作 以 简化 
编程 。MapReduce 作业 的 提交 和 执行 通过 Mepishapipp odio R> 类 来 完成 ， 此 类 
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图 8-8 MapReduce 抽象 对 象 模型 
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提供 了 支持 MapReduce 编程 模型 的 Aneka 云 的 接口 。 这 个 类 型 揭示 了 两 个 一 般 的 类 . M 和 
R。 这 两 个 占 位 符 将 用 于 识别 应 用 的 特定 类 型 的 Mapper<K，V> 和 Reducer<K, V>2K, 
程序 8-1 展示 了 Mapper<K，V> 类 的 细节 和 开发 者 应 该 知道 的 实现 map 函数 的 相关 
类 型 的 定义 。 为 实现 一 个 特定 的 mapper， 有 必要 继承 这 个 类 并 为 K 键 和 V 值 提 供 实际 的 
类 。map 操作 通过 重 写 void Map (IMapInput<K，V>input) 抽象 方法 得 以 实现 ， 而 其 他 
方法 则 在 框架 内 部 使 用 。IMapInput<K，V> 提供 对 于 完成 map 操作 的 输入 键 ~- 值 对 的 


访问 。 


程序 8-1 map 函数 API 





using Aneka.MapReduce.Internal; 


namespaceAneka.MapReduce 


{ 


/// <summary> 

/// Interface IMapInput<K,V>. Extends IMapInput and provides a strongly- 
/// typed version of the extended interface. 

/// </summary> 

public interface IMapInput<K,V>: IMapInput 


人 
/1/1 
/71 


<summary> 
Property <i>Key</i> returns the key of key/value pair. 


/// </summary> 
K Key { get; } 


ELF 
Lit 
/// 


<summary> 
Property <i>Value</i> returns the value of key/value pair. 
</summary> 


V Value { get; } 


/// <summary> 

/// Delegate MapEmitDelegate. Defines the signature of a method 

/// that is used to doEmit intermediate results generated by the mapper. 

/// </summary> 

/// <param name="key">The <i>key</i> of the <i>key-value</i> pair.</param> 

/// <param name="value">The <i>value</i> of the <i>key-value</i> pair.</param> 
public delegate void MapEmitDelegate(object key, object value); 


/// <summary> 
/// Class Mapper. Extends MapperBase and provides a reference implementation that 


/// can be further extended in order to define the specific mapper for a given 
/// application. The definition of a specific mapper class only implies the 
/// implementation of the Mapper<K,V>.Map(IMapInput<K,V>) method. 

/// </summary> 

public abstract class Mapper<K,V> : MapperBase 


{ 
/// 
/// 
/// 
/// 
FEF 
/// 
/// 


<summary> 

Emits the intermediate result source by using doEmit. 

</summary> 

<param name=*source*>An instance implementing IMapInput containing the 
<i>key-value</i> pair representing the intermediate result.</param> 

<param name="doEmit*>A MapEmitDelegate instance that is used to write to the 
output stream the information about the output of the Map operation.</param> 


public void Map(IMapInput input, MapEmitDelegate emit) { . } 


/// 
/// 
/// 
fii 
1 77 


<summary> 
Gets the type of the <i>key</i> component of a <i>key-value</i> pair. 


</summary> 
<returns>A Type instance containing the metadata about the type of the 


<i>key</i>.</returns> 


public override Type GetKeyType(){ return typeof(K); } 
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/// <summary> | | 
/// Gets the type of the <i>value</i> component of a <i>key-value</i> pair. 
/// </summary> 

/// <returns>A Type instance containing the metadata about the type of the 
/// <i>value</i>.</returns> 

public overrideType GetValueType(){ return typeof(V); } 


#region Template Methods 

/// <summary> 

/// Function Map is overrided by users to define a map function. 

/// </summary> 

/// <param name="source">The source of Map function is IMapInput, which contains 
/// a key/value pair.</param> 

protected abstract void Map(IMapInput<K, V> input) ; 

#endregion 


} 


程序 8-2 展示 了 用 于 字 计 数 器 样本 的 Mapper<K，V> 组 件 的 实现 。 该 样本 用 于 在 一 组 大 

型 文本 文件 中 统计 字 的 频率 。 文 本 文件 被 分 割 成 行 ， 每 一 行将 变 成 一 个 键 -~ 值 对 的 值 组 件 ， 

然而 该 键 将 通过 在 行 开始 的 文件 中 的 偏 移 量 的 方式 来 表示 。 因 此 ，mapper 通过 使 用 长 整 型 

作为 键 类 型 以 及 字符 串 作为 值 而 被 详细 说 明 。 为 统计 字 的 频率 ，map 函数 将 为 行 中 包含 的 每 

个 字 发 射 一 个 新 的 键 - 值 对 ， 方 法 是 将 字 作为 键 、 数 字 1 作为 值 。 如 果 字 在 行 中 出 现 两 次 ， 

这 一 实现 将 为 相同 的 字 发 射 两 个 对 。 在 适当 的 时 候 对 这 些 情 况 进 行 求 和 将 是 reducer 的 责任 。 
程序 8-2 简单 的 Mapper<K，V> 实现 


using Aneka.MapReduce; 


namespace Aneka,.MapReduce.Examples.WordCounter 
{ 
/// <summary> 
/// Class WordCounterMapper. Extends Mapper<K,V> and provides an 
/// implementation of the map function for the Word Counter sample. This mapper 
/// emits a key-value pair (word,1) for each word encountered in the input line. 
/// </summary> 
public class WordCounterMapper: Mapper<long, string> 
{ 
/// <summary> 
/// Reads the source and splits into words. For each of the words found 
/// emits the word as a key with a vaue of 1. 
/// </summary> 
/// <param name="source">map source</param> 
protected override void Map(IMapInput<long,string> input) 
{ 
// we don't care about the key, because we are only interested on 
// counting the word of each line. 
string value = input.Value; 


string[] words = value.Split(" VENDAS NEN" I == () (J) <>: {}.#" .ToCharArray t), 
StringSplitOptions.RemoveEmptyEntries) ; 


// we emit each word without checking for repetitions. The word becomes 
// the key and the value is set to 1, the reduce operation will take care 
// of merging occurrences of the same word and summing them. 
foreach(string word in words) 
{ 

this.Emit(word, 1); 
) 
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程序 8-3 展示 了 Reducer<K, V> 类 的 定义 。reducer 的 具体 实现 需要 制定 泛 型 类 并 重 写 
Reduce ( IReduceInputEnumerator<V>input) 抽象 方法 。 由 于 reduce 操作 应 用 于 映射 到 相同 
键 的 值 的 集合 ，IReduceInputEnumerator<V> 人 允许 开发 者 遍历 这 样 的 集合 。 程 序 8-4 展示 了 
怎样 为 字 - 计数 器 实例 实现 reducer 函数 。 


程序 8-3 reduce 函数 API 





using Aneka.MapReduce.Internal; 


namespace Aneka.MapReduce 
/// <summary> 
/// Delegate ReduceEmitDelegate. Defines the signature of a method 
/// that is used to emit aggregated value of a collection of values matching the 
/// same key and that is generated by a reducer. 
/// </summary> 
/// <param name="value">The <i>value</i> of the <i>key-value</i> pair.</param> 
public delegate void ReduceEmitDelegate(object value); 


/// <summary> 
/// Class <i>Reducer</i>. Extends the ReducerBase class and provides an 


/// implementation of the common operations that are expected from a <i>Reducer</i>. 
/// In order to define reducer for specific applications developers have to extend 
/// implementation of the Reduce(IReduceInputEnumerator<V>) method that reduces a 
/// this class and provide an collection of <i>key-value</i> pairs as described by 
/// the <i>map-reduce</i> model. 
/// </summary> 
public abstract class Reducer<K,V> : ReducerBase 
{ 
/// <summary> 
/// Performs the <i>reduce</i> phase of the <i>map-reduce</i> model. 
/// </summary> 
/// <param name="“source">An instance of IReduceInputEnumerator allowing to 
/// iterate over the collection of values that have the same key and will be 
/// aggregated.</param> 
/// <param name=“emit">An instance of the ReduceEmitDelegate that is used to 
/// write to the output stream the aggregated value.</param> 
public void Reduce(IReduceInputEnumerator input, ReduceEmitDelegate emit) { = } 


/// <summary> 
/// Gets the type of the <i>key</i> component of a <i>key-value</i> pair. 


/// </summary> 

/// <returns>A Type instance containing the metadata about the type of the 
/// <i>key</i>.</returns> . 

public override Type GetKeyType() {return typeof (K) ;} 

/// <summary> 

/// Gets the type of the <i>value</i> component of a <i>key-value</i> pair. 
/// </summary> 

/// <returns>A Type instance containing the metadata about the type of the 
/// <i>value</i>.</returns> 

public override Type GetValueType() {return typeof (V) ;} 


#region Template Methods 

/// <summary> 

/// Recuces the collection of values that are exposed by 

/// <paramref name="source"/> into a single value, This method implements the 
/// <i>aggregation</i> phase of the <i>map-reduce</i> model, where multiple 
/// values matching the same key are composed together to generate a single 


/// value. 


/// </summary> 
/// <param name="source">AnIReduceInputEnumerator<V> instancethat allows to 


/// iterate over all the values associated with same key.</param> 
protected abstract void Reduce(IReduceInputEnumerator<V> input); 


#endregion 


ES 
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程序 8-4 简单 的 Reduce<K, V> 实现 
using Aneka.MapReduce; 


namespace Aneka.MapReduce.Examples.WordCounter 
{ 
/// <summary> ` 
/// Class <b><i>WordCounterReducer</i></b>. Reducer implementation for the Word 
/// Counter application. The Reduce method iterates all over values of the 
/// enumerator and sums the values before emitting the sum to the output file. 
/// </summary> | 
public class WordCounterReducer: Reducer<string,int> 
{ 
/// <summary> 
/// Iterates all over the values of the enumerator and sums up 
/// all the values before emitting the sum to the output file. 
/// </summary> 
/// <param name="Source">reduce source</param> 
protected override void Reduce(IReduceInputEnumerator<int>input) 
{ 
int sum = 0; 


while (input.MoveNext () ) 
{ 
int value = input.Current; 
sum += value; | 
} 


this.Emit (sum); 





在 这 种 情况 下 ，Reducer<K，V> 类 被 指定 使 用 字符 串 作为 键 类 型 、 以 整 型 作为 值 。 
reducer 简单 地 遍历 所 有 的 可 通过 枚 举 器 访问 的 值 并 将 它们 求 和 。 一 旦 遍历 完成 ， 所 求 和 将 
被 转 储 到 文件 。 
注意 ， 用 于 指定 mapper 的 类 和 用 于 指定 reducer 的 类 之 间 有 一 个 重要 的 连接 。reducer 
使 用 的 键 和 值 类 定义 了 mapper 发 出 的 键 - 值 对 类 。 由 于 mapper 产 生 一 个 键 - 值 对 
(string，int)， 因 此 reducer 是 reducer< string, int> 类 。 
Mapper<K, V> 和 Reducer<K，V> 类 为 定义 由 MapReduce 作业 执行 的 计算 提供 能 力 。 
为 提交 、 执 行 和 监视 进程 ，Aneka 提供 了 MapReduceApplication<M，R> 类 。 同 其 他 编程 
模型 一 样 ， 这 一 类 代表 了 Aneka 顶部 的 分 布 式 应 用 的 局 部 视图 。 因 为 MapReduce 模型 的 简 
吻 ， 该 类 提供 的 能 力 有 限 ， 大 多 关注 开始 MapReduce 作业 并 等 待 它 的 完成 。 程 序 8-5 展示 
J MapReduceApplication<M, R> 的 接口 。 
该 类 的 接口 仅 展 示 了 MapReduce 的 特定 设置 ， 然而 控制 逻辑 却 封 装 在 
ApplicationBase<M> 中 。 通 过 这 个 类 可 设置 MapReduce 当前 执行 的 行为 。 可 以 控制 的 参数 
如 下 : 
e Partitions。 该 属性 存储 了 一 个 整 型 数字 ， 它 包含 最 终结 果 被 分 割 成 的 部 分 的 数量 。 
这 个 值 也 决定 了 将 由 运行 时 设施 创建 的 reducer 任务 的 数量 。 默 认 值 为 10。 

。 Attempts。 该 属性 包含 声明 失败 之 前 运行 时 将 重 试 执行 一 个 任务 的 次 数 。 默 认 值 
为 3。 

。 UseCombiner。 该 属性 存储 一 个 布尔 值 ， 指 示 MapReduce 运行 时 是 否 应 该 将 一 个 


~~ 
A 


na 
tins 


| 
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combiner 阶段 添加 到 map 任务 执行 ， 以 便 减 少 传 到 reduce 任务 的 中 间 文 件 的 数量 。 
默认 值 为 true。 

SynchReduce。 该 属性 存储 一 个 布尔 值 ， 指 示 是 否 同步 reducer。 默 认 值 为 ture， 现 在 
还 没有 用 于 决定 MapReduce 的 行为 。 

IsInputReady. 这 是 一 个 布尔 属性 ， 指 示 输 入 文件 是 否 已 被 存储 在 分 布 式 文件 系统 ， 
或 在 作业 可 被 执行 前 必须 由 客户 端 管 理 器 上 载 。 默 认 值 为 false。 

FetchResults。 这 是 一 个 布尔 属性 ， 指 示 客 户 端 管理 器 是 否 需要 将 由 作业 执行 产生 的 
结果 文件 下 载 到 本 地 计算 机 。 默 认 值 为 true。 

LogFile。 这 一 属性 包含 一 个 定义 日 志文 件 名 称 的 字符 串 ， 该 文件 用 于 存储 在 
MapReduce 作业 执行 过 程 中 记录 的 性 能 统计 信息 。 默 认 值 为 mapreduce.log。 


程序 8-5 MapReduceApplication<M, R> 
ing Aneka.MapReduce.Internal; 
mespace Aneka.MapReduce 


<summary> 
Class <b><i>MapReduceApplication</i></b>. Defines a distributed application 
based on the MapReduce Model. It extends the ApplicationBase<M> and specializes 
it with the MapReduceManager<M,R> application manager. A MapReduceApplication is 
a generic type that is parameterized with a specific type of MapperBase and a 
pecific type of ReducerBase. It controls the execution of the application and 

t is in charge of collecting the results or resubmitting the failed tasks. 


n 


/ </summary> 
// <typeparam name="M">Placeholder for the mapper type.</typeparam> 
/// <typeparam name="R">Placeholder for the reducer type.</typeparam> 
public class MapReduceApplication<M, R> : ApplicationBase<MapReduceManager<M, R>> 
where M: MapReduce.Internal.MapperBase 
where R: MapReduce.Internal.ReducerBase 


// Default value for the Attempts property. 
// </summary> 

public const intDefaultRetry = 3; 

/// <summary> 

/// Default value for the Partitions property. 
/// </summary> 

public const intDefaultPartitions = 10; 

/// <summary> 

/// Default value for the LogFile property. 
/// </summary> 

public const stringDefaultLogFile = "mapreduce.log"; 


/// <summary> 
/ 
j 


/ 


/// <summary> 

/// List containing the result files identifiers. 

/// </summary> 

private List<string>resultFiles = new List<string>(); 

/// <summary> 

/// Property group containing the settings for the MapReduce application. 
/// </summary> 

private PropertyGroupmapReduceSetup; 


/// <summary> 

/// Gets, sets an integer representing the number of partions for the key space. 
/// </summary> 

public int Partitions { get {.. } set { ~ } } 


/// <summary> 
/// Gets, sets an boolean value indicating in whether to combine the result 


/// after the map phase in order to decrease the number of reducers used in the 
/// reduce phase. 
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/// </summary> 

public bool UseCombiner { get { = } set { « } } 

/// <summary> 

/// Gets, sets an boolean indicating whether to synchronize the reduce phase. 
/// </summary> 

public bool SynchReduce { get {.. } set { «= } } 


/// <summary> 

/// Gets or sets a boolean indicating whether the source files required by the 
/// required by the application is already uploaded in the storage or not. 

/// </summary> 

public bool IsInputReady { get {.. } set { mn } } 

/// <summary> 

/// Gets, sets the number of attempts that to run failed tasks. 

/// </summary> 

public int Attempts { get {. } set { . ) } 

/// <summary> 

/// Gets or sets a string value containing the path for the log file. 

/// </summary> 

publie string LogFile { get { ..} set { . } } 

/// <summary> 

/// Gets or sets a boolean indicating whether application should download the 
/// result files on the local client machine at the end of the execution or not. 
/// </summary> 

public bool FetchResults { get {.. } set {.. } | 


/// <summary> 
/// Creates a MapReduceApplication<M,R> instance and configures it with 
/// the given configuration. 
/// </summary> 
/// <param name="configuration">A Configuration instance containing the 
/// information that customizes the execution of the application.</param> 
public MapReduceApplication (Configurationconfiguration) 
base ("MapReduceApplication", configuration) { .. | 
/// <summary> 
/// Creates MapReduceApplication<M,R> instance and configures it with 
/// the given configuration. 
/// </summary> 
/// <param name="displayName">A string containing the friendly name of the 
/// application.</param> 
/// <param name="configuration">A Configuration instance containing the 
/// information that customizes the execution of the application.</param> 
public MapReduceApplication(string displayName, Configuration configuration) 
base(displayName, configuration) { .. } 


// here follows the private implementation... 





管理 MapReduc 作业 执行 的 核心 控制 逻辑 驻 留 在 MapReduceApplicationManager<M, R> 
中 ， 该 类 与 MapReduce 运行 时 相互 作用 。 开 发 者 可 以 通过 使 用 ApplicationBase<M> 类 公开 
的 方法 和 属性 来 控制 应 用 程序 。 程 序 8-6 展示 了 执行 MapReduce 作业 时 与 该 类 有 关 的 方法 
的 集合 。 

除了 关心 所 有 应 用 程序 的 构造 函数 和 常用 属性 ， 程 序 8-6 中 以 粗 体 显 示 的 两 种 方法 最 常 
用 于 执行 MapReduce 作业 。 这 是 InvokeAndWait 方法 的 两 个 不 同 的 重 载 : 第 一 个 简单 地 开 
始 MapReduce 作业 的 执行 并 在 完成 后 返回 ; 第 二 个 在 任务 的 结尾 执行 应 用 于 客户 端的 回调 。 
InvokeAndWait 的 使 用 正在 受到 限制 ， 因 此 ， 不 可 能 通过 在 同一 个 线程 调用 StopExecution 
来 停止 应 用 程序 。 如 果 有 必要 实现 对 MapReduce 作 业 的 更 复杂 的 管理 ， 可 能 会 用 到 
SubmitExecution 方法 ， 此 方法 提交 应 用 的 执行 ， 而 不 需要 等 待 它 的 完成 就 可 返回 。 
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程序 8-6 ApplicationBase<M> 





Namespace Aneka.Entity 
{ 
/ <Summery> 
' Class <b><i>ApplicationBase<M></i></b>. Defines the base class for the 
// application instances for all the programming model supported by Aneka. 
f// </summary> 
public class ApplicationBase<M> where M : IApplicationManager, new() 
‘ 


<summary> 
/// Gets the application unique identifier attached to this instance. The 
/// application unique identifier is the textual representation of a System.Guid 
/// instance, therefore is a qlobally unique identfier. This identifier is 
/// automatically created when a new instance of an application is created. 
/// </summary> 
public string Id { get { .~ } } 
<summary> 
/// Gets the unique home directory for the AnekaApplication<W,M>. 
/// </summary> 
public string Home { get { ~ } } 
iji <summary> 
// Gets the current state of the application. 
/// </summary> 
public ApplicationState State{get{ = })} 
/// <summary> 
/// Gets a boolean value indicating whether the application is terminated. 
/// «</summary> 
public bool Finished { get { ~- } } 


/// <summary> 
/// Gets the underlying IApplicationManager that ismanaging the execution of the 
/// application instanceon the client side. 

/// </summary> 

public M ApplicationManager { get { = } } 


/// <summary> 
/// Gets, sets the application display name. This is a friendly name which is 


/// to identify an application by means of a textual and human intelligible 
/// sequence of characters, but it is NOT a unique identifier and no check about 
/// uniqueness of the value of this property is done. For a unique indentifier 


/// please check the Id property. 


/// «</summary> 
public string DisplayName { get { m ) set { m ) ) 


/// <summary> 
/// Occurs when the application instance terminates its execution. 


/// «</summary> 
public event EventHandler<ApplicationEventArgs> ApplicationFinished; 


/// «<summary> 
/// Creates an application instance with the given settings and sets the 


/// application display name to null. 


/// </summary> 
/// <param name="configuration’>Configuration instance specifying the 

/// application settings.</param> 
public ApplicationBase (Configuration configuration): this(null, configuration) 


{  } 


/// <summary> 
/// Creates an application instance withthe given settings and display name. As 


/// a result of the invocation, a new application unique identifier is created 
/// and the underlying application manager is initialized. 


/// </summary> 

/// <param name="configuration">Configurationinstance specifying the application 
/// settings.</param> 

/// <param name="displayName">Application friendly name ,</param> 

public ApplicationBase (string displayName, Configuration configuration){ .. } 


/// <summary> 
/// Starts the execution of the application instanceon Aneka. 
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提 到 文件 的 管理 ，MapReduce 实现 将 自动 上 载 Configuration 中 出 现 的 所 有 文件 。 工 作 


/// </summary> 

public void SubmitExecution() { .. ) 

/// <summary> 

/// Stops the execution of the entire application instance. 

/// </summary> 

public void StopExecution() { .. } 

/// <summary> 

/// Invoke the application and wait until the application finishes. 

/// </summary> 

public void InvokeAndWait() { this.InvokeAndWait(null); } 

/// <summary> 

/// Invoke the application and wait until the application finishes, then invokes 
/// the given callback. 

/// </summary> 

/// <param name="handler">A pointer to a method that is executed at the end of 

/// the application. </param> 

public void InvokeAndWait (EventHandler<ApplicationEventArgs> handler) { .. } 


/// <summary> 
/// Adds a shared file to the application. 
/// </summary> 
/// <param name="file">A string containing the path to the file to add.</param> 
public virtual void AddSharedFile(string file) { .. } 
/// <summary> 
/// Adds a shared file to the application. 
/// </summary> 
/// <param name="file">A FileData instance containing the information about the 
/// file to add.</param> 
public virtual void AddSharedFile(FileData fileData) { .. } 
/// <summary> 
/// Removes a file from the list of the shared files of the application. 
/// </summary> 
/// <param name="file”"> A string containing the path to the file to 
/// xemove.</param> 
public virtual void RemoveSharedFile(string filePath) { .. } 


// here come the private implementation. 


区 目录 将 忽略 由 AddSharedFile 方法 附加 的 文件 。 


程序 8-7 展示 了 如 何 为 了 运行 字 - 计数 器 实例 创建 一 个 MapReduce 应 用 ， 此 实例 由 之 


前 的 WordCounterMapper 和 WordCounterReducer 类 来 定义 。 


需要 关注 的 列 在 try{…}catch{…}finally{f…} 块 中 以 粗 体 显 示 。 如 同 程 序 8-7 所 
示 ，MapReduce 作 业 的 执行 仅 需 要 三 行 代码 ， 这 里 用 户 读 取 配 置 文件 ， 创 建 一 个 
MapReduceApplication<M, R> 实例 并 进行 配置 ， 之 后 开始 执行 。 所 有 一 下 的 代码 关注 的 大 


多 是 设置 记录 和 异常 处 理 。 


程序 8-7 字 一 计数 器 作业 


using System. IO; 
using Aneka.Entity; 
using Aneka.MapReduce; 


namespace Aneka.MapReduce.Examples.WordCounter 


{ 


/// <summary> 
/// Class <b><i>Program<M></i></b>. Application driver for the Word Counter sample. 
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/// </summary> 
public class Program 
{ 
/// <summary> 
/// Reference to the configuration object. 
/// </summary> 
private static Configuration configuration = null; 
/// <summary> 
/// Location of the configuration file. 
/// </summary> 
private static string confPath = "conf.xml"; 


/// <summary> 

/// Processes the arguments given to the application and according 
/// to the parameters read runs the application or shows the help. 
/// </summary> 

/// <param name="args">program arguments</param> 

private static void Main(string[] args) 

{ 


try 
{ 
Logger.Start(); 


// get the configuration 
configuration = Configuration.GetConfiguration(confPath) ; 


// configure MapReduceApplication - 
MapReduceApplication<WordCountMapper, WordCountReducer> application = 
new MapReduceApplication<WordCountMapper, WordCountReducer> 
("WordCounter", configuration); 
// invoke and wait for result 


application. InvokeAndWait (new 
EventHandler<ApplicationEventArgs>(OnDone) ); 


// alternatively we can use the following call 
// application.InvokeAndWait(); 
} 
catch (Exception ex) 
{ 
Usage (); 
IOUtil.DumpErrorReport (ex, "Aneka WordCounter Demo - Error Log"); 
} 
finally 
{ 
Logger.Stop(); 


} 
/// <summary> 
/// Hooks the ApplicationFinished events and Process the results 


/// if the application has been successful. 


/// </summary> 

/// <param name="sender">event source</param> 

/// <param name=*e">event information</param> 

private static void OnDone (object sender, ApplicationEventArgs al {ia } 


/// <summary> 
/// Displays a simple informative message explaining the usage of the 


/// application. 
/// </summary> 


private static void Usage() { ~ } 


0 
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2. 运行 时 支持 

MapReduce 作业 执行 的 运行 时 支持 是 由 能 够 处 理 安排 和 执行 MapReduce 任务 服务 的 组 
合 构成 的 。 这 些 任务 包括 MapReduce 计划 服务 和 MapReduce 执行 服务 。 这 两 个 服务 与 该 杠 
架 现 存 的 服务 相 结合 ， 以 便 能 够 提供 持久 性 、 应 用 记 账 以 及 可 用 于 其 他 编程 模型 开发 的 应 用 
程序 的 功能 。 

作业 和 任务 计划 。 作 业 和 任务 的 计划 是 由 MapReduce 计划 服务 负责 的 ， 这 与 谷歌 
MapReduce 实现 中 的 主 处 理 过 程 扮演 的 角色 一 致 。 计 划 服 务 的 架构 被 组 织 成 两 个 主要 部 分 : 
MapReduce 调度 服务 和 MapReduce 调度 器 。 前 者 是 调度 程序 的 封装 ， 实 现 Aneka 所 要 求 的 
作为 服务 应 公开 一 个 软件 的 接口 ; 后 者 控制 作业 执行 并 调度 任务 。 因 此 ， 封 装 服 务 的 主要 作 
用 是 将 来 自 Aneka 执行 时 或 者 客户 应 用 的 信息 转化 为 针对 调度 程序 的 呼叫 或 事件 ， 反 之 亦 
然 。 这 两 个 组 件 之 间 的 关系 如 图 8-9 Bras. 
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图 8-9 MapReduce 调度 服务 架构 


工作 和 任务 调度 的 核心 功能 在 MapReduceScheduler 类 中 实现 。 针 对 一 些 操 作 ， 调 度 程 
序 管理 多 个 队列 ， 如 上 传输 入 文件 到 分 布 式 文件 系统 、 调 度 之 前 进行 初始 化 、 调 度 map 和 
reduce 任务 、 跟 踪 不 可 达 的 节点 、 重 新 提交 失败 的 任务 和 报告 执行 统计 信息 。 所 有 这 些 操作 
都 是 异步 执行 并 通过 发 生 在 Aneka 中 间 件 的 事件 来 触发 的 。 

任务 执行 。 任 务 的 执行 是 由 MapReduce 执行 服务 控制 的 。 此 组 件 起 到 谷歌 MapReduce 
实现 中 工作 进程 的 作用 。 该 服务 管理 map 和 reduce 任务 的 执行 ， 并 执行 其 他 操作 ， 如 分 类 
和 合并 中 间 文 件 。 该 服务 位 于 内 部 组 织 ， 见 图 8-10。 

三 个 主要 组 件 一 起 协调 执行 任务 : MapReduce 计划 服务 ， 执 行 管理 器 和 MapReduce th 
行 器 。MapReduce 计划 服务 用 Aneka 的 中 间 件 与 执行 管理 器 连接 ， 通 过 获取 MapReduce 执 
行 器 中 任务 的 特定 执行 ， 向 调度 服务 发 送 有 关 的 执行 统计 数据 ， 执 行 管理 器 负责 对 正在 执行 
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的 任务 保持 追踪 。 配 置 多 于 一 个 MapReduce 执行 器 的 实例 是 可 行 的 ， 且 在 多 核 节点 的 情况 
下 是 有 益 的 ， 在 这 些 节 点 上 多 个 任务 可 以 在 同一 时 间 执 行 。 
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图 8-10 MapReduce 执行 服务 架构 


3. 分 布 式 文件 系统 支持 

不 同 于 Aneka 支持 的 其 他 编程 模型 ，MapReduce 模型 不 利用 默认 存储 服务 进行 存储 和 
数据 传输 ， 而 是 采用 分 布 式 文件 系统 来 实现 。 这 样 做 是 因为 MapReduce 在 文件 管理 方面 的 
要 求 与 其 他 模型 有 显著 不 同 。 特 别 地 ，MapReduce 用 于 处 理 储存 在 大 型 文件 的 大 量 数 据 ， 
因此 ， 分 布 式 文件 系统 提供 的 支持 更 加 合适 ， 它 可 以 利用 多 个 节点 存储 数据 。 分 布 式 文件 
系统 的 实现 通过 复制 和 分 配 的 方式 保证 高 可 用 性 和 更 好 的 效率 。 此 外 ， 原 来 的 MapReduce 
实现 假定 一 个 分 布 和 可 靠 的 存储 的 存在 ， 因 此 ， 实 现存 储 层 分 布 式 文件 系统 的 使 用 是 很 目 
然 的 。 

Aneka 提供 了 不 同 存储 实现 的 接口 能 力 ， 如 第 5 章 ( 5.2.3 节 ) 所 述 ， 并 为 分 布 式 文件 系 
统 的 整合 保持 相同 的 灵活 性 。MapReduce 所 需 的 集成 级 别 需要 具有 执行 以 下 任务 的 能 力 : 

e 检索 文件 和 文件 块 的 位 置 。 

e 通过 流 的 方式 访问 文件 。 

对 于 根据 数据 位 置 优化 map 和 reduce 任务 的 调度 来 说 ， 第 一 个 操作 是 非常 有 用 的 ; 第 
二 个 操作 是 常见 的 IO 操作 ， 且 是 数据 文件 所 需 的 。 在 分 布 式 文件 系统 中 ， 如 果 该 文件 块 不 
存储 在 本 地 节点 上 ， 流 还 可 能 会 访问 网 络 。 通 过 提供 合适 的 实现 方法 ，Aneka 提供 了 可 以 进 
行 这 些 操 作 的 接口 ， 并 有 能 力 阻 塞 它们 背后 不 同 的 文件 系统 。 当 前 的 实现 还 提供 了 与 HDFS 
的 绑 定 。 

在 这 些 低 层次 的 接口 上 ，MapReduce 编程 模型 提供 了 以 顺序 方式 读 取 和 写 入 文件 的 类 : 
SeqReader 和 SeqWriter。 它 们 提供 了 对 读 写 键 值 对 的 顺序 访问 ， 并 且 要 求 得 到 一 个 特定 的 文 
件 格式 ， 如 图 8-11 所 示 。 
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图 8-11 Aneka MapReduce 数据 文件 格式 


一 个 Aneka MapReduce 文件 由 用 于 标识 文件 的 报头 和 记录 块 的 序列 组 成 ， 并 且 每 一 个 
记录 块 存 储 了 一 个 键 - 值 对 。 报 头 由 4 字 节 组 成 : 前 3 个 字 节 表示 字符 序列 SEQ， 第 四 个 
字 节 标识 文件 的 版 本 。 记 录 块 的 组 成 如 下 : 前 8 个 字 节 用 于 存储 表示 该 块 的 剩余 部 分 长 度 和 
紧 随 其 后 的 键 长 度 的 两 个 整数 。 该 块 的 剩余 部 分 存储 由 成 对 的 值 组 成 的 数据 。SeqReader 和 
SeqWriter 类 用 于 读 写 这 种 格式 的 文件 ， 读 写 方法 是 透明 地 处 理 文件 格式 信息 ， 以 及 键 - 值 
实例 和 它们 的 二 进 制 表示 之 间 的 翻译 转换 。MapReduce 支持 所 有 .NET 内 置 类 型 。 由 于 
MapReduce 作业 对 于 普通 文本 文件 中 表示 的 数据 操作 非常 频繁 ，SeqReader 类 和 SeqWriter 
类 的 特定 版 本 已 经 可 以 作为 键 - 值 对 的 序列 来 读 取 和 写 人 文本 文件 。 在 读 操作 的 情况 下 ， 
每 个 对 的 值 通过 在 文本 文件 中 的 一 行 来 表示 ， 而 键 则 是 自动 生成 并 分 配 到 文件 中 该 行 开始 的 . 
字 节 位 置 。 在 写 操作 中 ， 键 的 写 人 被 跳 过 且 值 被 保存 为 单行 。 

程序 8-8 显示 了 SeqReader 和 SeqWriter 类 的 接口 。SeqReader 类 提供 一 个 基于 枚 举 的 方 
法 ， 该 方法 可 通过 调用 NextKey() 和 NextValue() 方法 分 别 访问 键 值 和 数值 。 它 也 可 以 通过 
使 用 NextRawKey() 和 NextRawValue() 来 访问 键 值 和 数值 的 原始 字 节 数据 。 HasNext() 返回 
一 个 布尔 值 ， 指 示 是 否 能 够 读 取 更 多 的 对 。SeqWriter 类 提供 了 Append 方法 的 不 同 版 本 。 


程序 8-8 SeqReader 和 SeqWriter 类 













using Aneka.MapReduce.Common; 


namespace Aneka.MapReduce.DiskIO 
{ 
/// <summary> 
/// Class <b><i>SeqReader</i></b>. This class implements a file reader for the sequence 
/// file, which isa standard file split used by MapReduce.NET to store a partition of a 
/// fixed size of a data file. This classprovides an interface for exposing the content 
/// of a file split as an enumeration of key-value pairs and offersfacilities for both 
/// accessing keys and values as objects and their corresponding binary values. 
/// </summary> 
public class SeqReader 
{ 
/// <summary> 
/// Creates a SeqReader instance and attaches it to the given file. This constructor 
/// initializes the instance with the default value for the internal buffers and does 
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/// not set any information about the types of the keys and values read from the 
/// ile. 
/// </summary> 
public SeqReader(string file) : this(file, null, null) { . } 
/// <summary> 
/// Creates a SeqReader instance, attaches it to the given file, and sets the 
/// internal buffer size to bufferSize. This constructor does not provide any 
/// information about the types of the keys and values read from the file. 
/// </summary> 
public SeqReader(string file, int bufferSize) : this(file,null,null,bufferSize) { .. } 
/// <summary> 
/// Creates a SeqReader instance, attaches it to the given file, and provides 
/// metadata information about the content of the file in the form of keyType and 
/// valueType. The internal buffers are initialized with the default dimension. 
/// </summary> 
public SeqReader(string file, Type keyType, Type valueType) 
this(file, keyType, valueType, SequenceFile.DefaultBufferSize) { .. } 
/// <summary> 
/// Creates a SeqReader instance, attaches it to the given file, and provides 
/// metadata information about the content of the file in the form of keyType and 
/// valueType. The internal buffers are initialized with the bufferSize dimension. 
/// </summary> 
public SeqReader (string file, Type keyType, Type valueType, int bufferSize){ .. } 
/// <summary> 
/// Sets the metadata information about the keys and the values contained in the data 
/// file. 
/// </summary> 
public void SetType(Type keyType, Type valueType) { .. } 
/// <summary> 
/// Checks whether there is another record in the data file and moves the current 
/// file pointer to its beginning. 
/// </summary> 
public bool HaxNext() { .. } 
/// <summary> 
/// Gets the object instance corresponding to the next key in the data file. 
/// in the data file. 
/// </summary> 
public object NextKey() ( . } 


/// <summary> 

/// Gets the object instance corresponding to the next value in the data file. 
/// in the data file. 

/// </summary> 

public object NextValue() { .. } 

/// <summary> 

/// Gets the raw bytes that contain the value of the serializedinstance of the 
/// current key. 

/// </summary> 

public BufferInMemory NextRawKey() ( .. } 

/// <summary> - 

/// Gets the raw bytes that contain the value of the serialized instance of the 
/// current value. 

/// </summary> 

public BufferInMemory NextRawValue() { .. | 


/// <summary> 

/// Gets the position of the file pointer as an offset from its beginning. 
/// </summary> 

public long CurrentPosition() { = } 

/// <summary> 

/// Gets the size of the file attached to this instance of SeqReader. 

/// </summary> 

public long StreamLength() { .. } 


/// <summary> . . 
/// Moves the file pointer to position. If the value of position is 0 or negative, 


/// returns the current position of the file pointer. 
/// </summary> 
public long Seek(long position) { . ) 
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/// <summary> 
/// Closes the SeqReader instanceand releases all the resources that have been 


/// allocated to read fromthe file. 
/// </summary> 
public void Close() { . } 


// private implementation follows 


/// <summary> 

/// Class SeqWriter. This class implements a file writer for the sequence 

/// sequence file, which is a standard file split used by MapReduce.NET to store a 

/// partition of a fixed size of a data file. This classprovides an interface to add a 
/// sequence of key-value pair incrementally. 

/// </summary> 


public class SeqWriter 
{ 


/// <summary> 


/// Creates a SeqWriter instance for writing to file. This constructor initializes 


/// the instance with the default value for the internal buffers. 
/// </summary> 

public SeqWriter (string file) 
/// <summary> 

/// Creates a SeqWriter instance, attachesit to the given file, and sets the 
/// internal buffer size to bufferSize. 

/// </summary> 

public SeqWriter(string file, 


this(file, SequenceFile.DefaultBufferSize){ .. } 


int bufferSize) { . } 


/// <summary> 

/// BAppends a key-value pair to the data file split. 

/// </summary> 

public void Append(object key, object value) { .. } 

/// <summary> 

/// Bppends a key-value pair 

/// </summary> 

public void AppendRaw (byte[] 

/// <summary> 

/// Appends a key-value pair 

/// </summary> 

public void AppendRaw (byte [] 
byte[] 


to the data file split. 
key, byte[] value) { . } 
to the data file split. 


key, int keyPos, int keyLen, 
value, int valuePos, int valueLen) { .. } 


/// <summary> 


/// Gets the length of the internal buffer or 0 if no buffer has been allocated. 


/// </summary> 

public longLength() 1{ .. } 

/// <summary> 

/// Gets the length of data file split on disk so far. 
/// </summary> 

public long FileLength() { .. ) 

/// <summary> 


/// Closes the SeqReader instance and releases all the resources that have been 


/// allocated to write to the file. 
/// </summary> 
public void Close() { n } 


// private implementation follows 





程序 8-9 显示 了 通过 在 字 - 计数 器 例子 中 使 用 的 回调 函数 来 实现 的 SeqReader 类 的 一 个 
实际 运用 。 为 使 应 用 程序 的 结果 可 视 化 ， 使 用 SeqReader 类 来 读 取 输出 文件 的 内 容 并 转 储 为 
对 任何 文本 编辑 器 可 视 的 一 个 适当 的 文本 形式 ， 如 记事 本 应 用 程序 。 
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程序 8-9 字 一 计数 器 作业 





using Aneka.MapReduce; 
namespace Aneka.MapReduce.Examples.WordCounter 
<summary> 
Class Program. Application driver for the Word Counter sample. 


</summary> 


ublic class Program 


private static Configuration configuration = null; 
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<Sultime > y> 
Processes the arguments given to the application and according 
to the parameters read runs the application or shows the help. 


£ > 
name=*args'‘>program arguments</param> 


<param 
private static void Main(string[] args) 
+ 

try 


get the configuration 
ram.configuration = Configuration.GetConfiguration(confPath) ; 
configure MapReduceApplication 
MapReduceApplication<WordCountMapper, WordCountReducer> application = 
new MapReduceApplication<WordCountMapper, WordCountReducer>(*WordCounter’, 


// invoke and wait for result 
application. InvokeAndWait (newEventHandler<ApplicationEventArgs>(OnDone) ); 


alternatively we can use the following call 
2 bad 


Program.Usage(); 
TOUtil.Dumpf=rrorReport(ex, ‘Aneka WordCounter Demo - Error Log"); 


finally 
Logger .Stop(); 


$ 


<summary> 
Hooks the ApplicationFinished events and process the results 


if the application has been successful. 
</summary> 
<param name="sender’>event source</param> 
jj} <param name=-"e'>event information</param> 
private static void OnDone(object sender, ApplicationEventArgs e} 
{ 
if (e.Exception != null) 
{ 


IQUtil.DumpErrorReport (e.Exception, ‘Aneka WordCounter Demo -~ Error’); 
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} 
else 
{ 
string outputDir = Path.Combine(configuration.Workspace, "“output"); 
try 
{ 
FileStream resultFile = new FileStream(“WordResult.txt",FileMode.Create, 
FileAccess.Write) ; 
Stream WritertextWriter = new StreamWriter(resultFile) ; 


DirectoryInfo sources = new Directoryinfo(outputDir) ; 
FileInfo[] results = sources.GetFiles(); 
foreach(FileInfo result in results) 
{ 
SeqReader seqReader = newSeqReader (result.FullName) ; 
seqReader.SetType(typeof (string), typeof (int)); 


while (seqReader.HaxNext() == true) 

{ 
object key = seqReader.NextKey(); 
object value = seqReader.NextValue(); 


textWriter.WriteLine("{0}\t{1}", key, value); 
} 


seqReader.Close(); 
} 
textWriter.Close(); 
resultFile.Close(); 


// clear the output directory 
sources.Delete(true); 


Program.StartNotePad("WordResult.txt"); 
} 
catch(Exception ex) 
{ 
IOUtil.DumpErrorReport(e.Exception, "Aneka WordCounter Demo - Error"); 
} 


/// <summary> 

/// Starts the notepad process and displays the given file. 

/// </summary> 

private static voidStartNotepad(string file) { =. ) 

/// <summary> 

/// Displays a simple informative message explaining the usage of the 
/// application. 

/// </summary> 

private static void Usage() { = } 





OnDone 回调 会 检查 应 用 程序 是 否 已 成 功 终止 。 如 果 没 有 错误 ， 它 将 遍历 下 载 到 工作 区 
中 输出 目录 的 结果 文件 。 默 认 情 况 下 ， 文 件 保 存在 工作 区 目录 的 输出 子 目录 。 对 于 每 一 个 结 


果 文 件 ， 它 会 在 上 面 打开 一 个 SeqReader 实例 ， 并 将 键 - 值 对 的 内 容 转 储 成 一 个 文本 文件 ， 
此 文本 文件 可 以 通过 任何 文本 编辑 器 打开 。 


8.3.2 ”应 用 实例 


MapReduce 是 处 理 大 量 数据 的 一 个 非常 有 用 的 模型 ， 这 些 数据 在 很 多 情况 下 都 保持 一 
个 半 结 构 化 的 形式 ， 例 如 日 志 或 Web 页 面 。 为 了 说 明 如 何 用 Aneka MapReduce 编写 实际 应 
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用 程序 ， 我 们 考虑 一 个 很 常见 的 任务 : 日 志 分 析 。 设 计 一 个 MapReduce 应 用 程序 来 处 理由 
Aneka 容 语 产生 的 日 志 ， 以 提取 一 些 有 关 云 行为 的 摘要 信息 。 本 节 将 详细 描述 要 解决 的 问 [255 
器 ， 并 设计 用 于 执行 文件 分 析 和 数据 抽象 操作 的 Mapper 和 Reducer 类 。 

1. 分 析 Aneka 日 志 

Aneka 组 件 (守护 进程 、 容 器 实例 和 服务 ) 产生 大 量 以 日 志文 件 形 式 存储 的 信息 。 最 相 
天 的 信息 被 存储 在 容器 实例 的 日 志 中 ， 这 些 信息 与 在 云 中 执行 的 应 用 程序 有 关 。 在 这 个 例子 
中 ， 我 们 通过 分 析 这 些 日 志 来 提取 有 关 应 用 执行 和 云 服 务 使 用 的 有 用 信息 。 

整个 构架 利用 了 log4net 库 ， 用 于 收集 和 存储 日 志 信息 。 在 Aneka 容器 中 ， 系 统 配置 产 
生 一 个 日 志文 件 ， 每 次 容器 重启 时 该 日 志文 件 被 划分 成 块 。 此 外 ， 包 含 在 日 志文 件 中 的 信息 


可 根据 它 的 出 现 来 定制 。 目 前 默认 的 布局 如 下 : 294 
DD MMM YY hh: mm: ss level-message nag 


格式 化 日 志 消 息 中 的 某 些 例子 如 下 : 


15 Mar 2011 10:30:07 DEBUG—SchedulerService: ... 
HandleSubmitApplication—SchedulerService: ... 

15 Mar 2011 10:30:07 INFO—SchedulerService: Scanning candidate storage ... 

15 Mar 2011 10:30:10 INFO—Added [WU: 51d55819-b211-490f-b185-8a25734ba705, 

4e86fd02... 

15 Mar 2011 10:30:10 DEBUG—StorageService: NotifyScheduler—Sending 

FileTransferMessage... 

15 Mar 2011 10:30:10 DEBUG—IndependentSchedulingService: Queue WorkUnit— Queueing. .. 

15 Mar 2011 10:30:10 INFO—AlgorithmBase: :AddTasks[64] Adding 1 Tasks 

15 Mar 2011 10:30:10 DEBUG—AlgorithmBase: FireProvisionResources—Provision 

Resource: l 

在 示例 日 志 行 的 内 容 中 ， 可 以 看 出 几乎 所 有 日 志 行 的 消息 部 分 都 呈现 出 类 似 的 结构 ， 并 
且 它 们 与 进入 日 志 行 的 组 件 信息 一 起 开始 。 通 过 查看 不 包含 空格 的 字符 序列 之 后 首次 出 现 的 

: ”字符 ， 可 以 很 容易 地 将 该 信息 提取 出 来 。 

从 这 些 日 志 中 提取 的 信息 可 能 是 以 下 情况 : 

o 根据 级 别 的 日 志 消 息 分布 。 

e 根据 组 件 的 日 志 消 息 分 布 。 

这 些 信息 可 以 通过 创建 Mapper 任务 很 容易 地 提取 并 组 成 一 个 单一 的 视图 ， 此 任务 计数 
日 志 级 别 和 组 件 名 称 的 出 现 次 数 ， 并 为 每 次 的 出 现 发 射 一 个 (level-name, 1) 或 (component- 
name, 1) 形式 的 简单 的 键 - 值 对 。Reducer 任务 简单 地 将 所 有 具有 相同 键 的 键 值 对 相 加 。 对 
于 这 两 个 问题 ，map 和 reduce ALANA Ta aN F EZR : 

map:(long, string) = > (string, long) 
reduce:(string, long) => (string, long) 

此 后 Mapper 类 将 收回 包含 文件 中 行 位 置 的 键 - 值 对 作为 键 ， 并且 提取 日 志 消 息 作为 值 [297 
组 件 。 它 会 产生 一 个 键 - 值 对 ， 这 个 键 - 值 对 包含 了 一 个 表示 日 志 级 别名 称 或 组 件 名 称 的 ”|299 
字符 串 ， 并 且 以 1 作为 值 。Reducer 类 将 总 结 所 有 具有 相同 名 称 的 键 - 值 对 。 通 过 修改 之 前 
讨论 的 典型 结构 ， 可 以 在 同一 时 间 执 行 两 种 分 析 ， 而 不 是 开发 两 种 不 同 的 MapReduce 工作 。 
注意 到 由 Reducer 类 进行 的 操作 在 这 两 种 情况 下 是 相同 的 ， 而 Mapper 类 的 操作 发 生 了 变化 ， 
但 是 这 两 个 作业 所 生成 的 键 - 值 对 的 类 型 是 相同 的 。 因 此 ， 将 map 函数 执行 的 两 个 任务 组 
合 到 单一 的 Mapper 类 是 可 能 的 ， 此 类 将 为 每 个 输入 行 产 生 两 个 键 - 值 对 。 此 外 ， 可 以 通过 
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日 志 级 别 的 名 称 区 别 Aneka 组 件 的 名 称 ， 方 法 是 使 用 一 个 初始 下 划 线 字符 。 为 了 表示 和 组 
织 数据 ， 后 处 理 reduce 函数 的 输出 将 会 是 非常 容易 的 。 

2. Mapper 设计 和 实现 

map 函数 执行 的 操作 是 一 个 非常 简单 的 文本 提取 ， 用 于 标识 日 志 的 级 别 和 进入 日 志 中 信 
息 的 组 件 的 和 名称 。 一 旦 这 个 信息 被 提取 ， 则 一 个 键 - 值 对 (string, long) WARE Ho BEAR 
决定 合并 两 个 MapReduce 作业 为 一 个 单一 的 作业 ， 那 么 每 个 map 任务 将 最 多 发 出 pakk - 
值 对 。 这 是 因为 有 些 日 志 行 不 记录 所 输入 行 的 组 件 名 称 ， 对 于 这 些 行 ， 只 有 对 应 的 日 志 级 别 
的 键 - 值 对 将 被 发 出 。 

程序 8-10 显示 了 Mapper 类 的 日 志 分 析 任 务 的 实现 。Map 方法 简单 地 把 日 志 级 别 标签 的 
位 置 定位 到 行 ， 提 取 并 发 出 相应 的 键 - 值 对 (label，1)。 然 后 Map 方法 会 尝试 通过 查找 由 
“ . ”限制 的 字符 序列 ， 找 出 输入 记 日 志 行 的 Aneka 组 件 名 称 的 位 置 。 如 果 这 一 序列 中 不 包 
含 空格 ， 则 代表 了 Aneka 组 件 的 名 称 。 在 这 种 情况 下 ， 另 一 个 键 - 值 (component-name, 1) 
被 发 出 。 如 前 所 述 ， 为 了 从 组 件 名 称 来 区 别 日 志 级 别 的 标签 ， 在 第 二 种 情况 下 将 一 个 下 划 线 
前 级 于 键 的 名 称 。 


程序 8-10 日志 分 析 的 Mapper 实现 





using Aneka.MapReduce; 


namespace Aneka.MapReduce .Examples.LogParsing 
{ 
/// <summary> 
/// Class’ LogParsingMapper. Extends Mapper<K,V> and provides an 
/// implementation of the map function for parsing the Aneka container log files. 
/// This mapper emits a key-value (loq-level, 1) and potentially another key-value 
/// (.aneka-component-name,1) if it is able to extract such information from the 
/// input. 
/// </summary> 
public class LogParsingMapper: Mapper<long,strinad> 
{ 
/// <summary> 
/// Reads the input and extracts the information about the log level and if 
/// found the name of the aneka component that entered the log line. 
/// </summary> 
/// <param name="input*>map input</param> 
protected override void Map(IMapInput<long,string>input) 
{ 
// we don’t care about the key, because we are only interested on 
// counting the word of each line. 
string value = input.Value; 
long quantity = 1; 


// first we extract the log level name information. Since the date is reported 

// in the standard format DD MMM YYYY mm:hh:ss it is possible to skip the first 
// 20 characters (plus one space) and then extract the next following characters 
// until the next position of the space character. 

int start = 21; 

int stop = value.IndexOf(' ', start); 

string key = value.Substring(start, stop - start); 


this.Emit(key, quantity); 
// now we are looking for the Aneka component name that entered the log line 
// if this is inside the log line it is just right after the log level preceeded 


// by the character sequence <space><dash><space> and terminated by the <c olon> 
// character. 


Start = stop + 3; // we skip the <space><dash><space> sequence. 
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we now check whether the key contains any space, if not then it is the name 
// of an Aneka component and the line does not need to be skipped. 
if (key.Index0Of | O ss =) 


this.Emit(’_* + key, quantity); 





3. Reducer 设计 和 实现 

Reduce 函数 的 实现 更 加 简单 ， 需 要 执行 的 唯一 操作 是 添加 被 关联 到 相同 键 的 所 有 值 ， 
并 发 出 一 个 键 - 值 对 的 总 和 。 该 基础 设施 将 合计 已 经 发 给 一 个 给 定 键 的 所 有 值 ， 因 此 ， 只 
需要 简单 地 遍历 值 的 集合 并 将 它们 相 加 。 

如 程序 8-11 所 示 ， 要 执行 的 操作 非常 简单 ， 并 且 实 际 上 对 于 从 日 志 行 中 提取 的 两 种 不 
ANE - 值 对 是 相同 的 。 区 分 集合 在 输出 文件 中 的 不 同类 型 的 信息 将 由 驱动 程序 负责 。 


程序 8-11 Aneka 日 志 分 析 的 Reducer 实现 


using Aneka.MapReduce; 
namespace Aneka.MapReduce.Examples.LogParsing 


<summary> 
' Class <b><i>LogParsingReducer</i></b>. Extends Reducer<K,V> and provides an 
/ implementation of the redcuce function for parsing the Aneka container log files. 
/// The Reduce method iterates all over values of the enumerator and sums the values 
‘// before emitting the sum to the output file, 
</summary> 
public class LogParsingReducer: Reducer<string, long> 
{ 
<summary> 
Iterates all over the values of the enumerator and sums up 
/// all the values before emitting the sum to the output file. 
/// </summary> 
/// <param name=*input’>reduce source</param> 
protected override void Reduce (IReduceInputEnumerator<long>input) 
{ 


long sum = 0; 


while (input.MoveNext () ) 

| 
long value = input.Current; 
sum += value; 

} 

this.Emit (sum); 





4. 驱动 程序 

LogParsingMapper 和 LogParsingReducer 构成 MapReduce 作业 的 核心 功能 ， 只 需要 在 
主 程序 中 进行 适当 配置 ， 以 处 理 和 产生 文本 工程 。 另 外 ， 由 于 已 经 设计 了 mapper 组 件 来 提 
取 两 种 不 同类 型 的 信息 ， 所 以 驱动 应 用 中 执行 的 另 一 任务 是 将 这 两 个 统计 分 离 成 不 同 的 文件 
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[300] 来 进一步 地 分 析 。 
程序 8-12 显示 了 驱动 程序 的 实现 。 相 对 于 前 面 的 例子 ， 有 三 个 事项 值得 注意 : 





程序 8-12 了 驱动 程序 实现 


using System. IO; 
using Aheka.Entity; 
using Aneka.MapReduce; 


namespace Aneka.MapReduce.Examples.LogParsing 


{ 


/// <summary> 
/// Class Program. Application driver. This class sets up the MapReduce 
/// job and configures it with the <i>LogParsingMapper</i> and <i>LogParsingReducer</i> 
/// classes. It also configures the MapReduce runtime in order sets the appropriate 
/// format for input and output files. 
/// </summary> 
public class Program 
{ 
/// <summary> 
/// Reference to the configuration object. 
/// </summary> 
private static Configuration configuration = null; 
/// <summary> 
/// Location of the configuration file. 
/// </summary> 
private static string confPath = "conf.xml"; 


/// <summary> 
/// Processes the arguments given to the application and according 
/// to the parameters read runs the application or shows the help. 
/// </summary> 
/// <param name="args">program arguments</param> 
private static void Main(string[] args) 
{ 

try 

{ 

Logger.Start(); 


// get the configuration 

Program.configuration = Program. Initialize(confPath) ; 

// configure MapReduceApplication 

MapReduceApplication<LogParsingMapper, LogParsingReducer> application = 
new MapReduceApplication<LogParsingMapper, LogParsingReducer>("LoqParsing" 


configuration); 


// invoke and wait for result 
application. InvokeAndWait (newEventHandler<ApplicationEventArgs>(OnDone) ) ; 


// alternatively we can use the following call 
// application. InvokeAndWait(); 
} 
catch (Exception ex) 
{ 
Program. ReportError (ex); 
} 
finally 
{ 
Logger .Stop(); 
} 
Console.Readline(); 


<summary> 


Initializes the configuration and ensures that the appropriate input 
and output formats.are set 
</summary> 


<param name="configFile*>A string containing the path to the config file.</param> 
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/// <returns>An instance of the configuration class.</returns> 
private static Configuration Initialize(stringconfigFile) 
{ 
Configuration conf = Configuration.GetConfiguration(confPath) ; 
// we ensure that the input and the output formats are simple 
// text files. 
PropertyGroup mapReduce = conf ["MapReduce"]; 
if (mapReduce == null) 
{ 
mapReduce = newPropertyGroup ("MapReduce"); 
conf.Add("“MapReduce") = mapReduce; 
} 
// handling input properties 
PropertyGroup group = mapReduce.GetGroup("Input"); 
if (group == null) 
{ 
group = newPropertyGroup("Input"); 
mapReduce.Add(group) ; 
} 
string val = group["Format"] ; 
if (string.IsNullOrEmpty (val) == true) 
{ 
group.ādd ('Format","text"); 
} 
val = group["Filter"]; 
if (string.IsNullOrEmpty(val) == true) 
{ 
group.Add("Filter*,"*.log"); 
} 
// handling output properties 
group = mapReduce.GetGroup("“Output") ; 
if (group == null) 
{ 
group = newPropertyGroup ("Output"); 
mapReduce.Add(group) ; 
} 
val = group(["Format"]; 
if (string.IsNullOrEmpty(val) == true) 
{ 
group.Add(’Format", “text"); 
) 
return conf; 


/// «<summary> 
/// Hooks the ApplicationFinished events and process the results 
/// if the application has been successful. 


/// </summary> 3 
/// <param name="sender">event source</param> 
/// <param name="e">event information</param> 
private static void OnDone (object sender, ApplicationEventArgs e) 
{ 

if (e.Exception != null) 

{ 

Program,ReportError (ex); 
} 
else 


{ 
Console.Write("Aneka Log Parsing-Job Terminated: SUCCESS"); 


FileStream logLevelStats = null; 

FileStream componentStats = null; 

string workspace = Program.configuration.Workspace; 
string outputDir = Path.Combine(workspace, “output"); 
DirectoryInfo sources = new DirectoryInfo(outputDir) ; 
FileInfo[{] results = sources.GetFiles()j; 
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try 
{ 
logLevelStats = new FileStream (Path.Combine (workspace, *loglevels.txt’), 


FileMode.Create,Fileāccess.Write)); 


componentStats = new FileStream (Path.Combine (workspace, "components. txt*), 
FileMode.Create, 
FileAccess.Write) ); 
using(StreamWriter logWriter = new StreamWriter (logLévelStats) ) 


{ 
using (StreamWritercompWriter = newStreamWriter(componentStats) ) 


foreach(FileInfo result in results) 
{ 
using(StreamReader reader = 
new StreamReader (result.OpenRead () ) ) 


while (reader.EndOfStream == false) 
{ 
string line = reader.ReadLine(); 
if (line != null) 
{ 
if (line.StartsWith("_.") == true) 
{ 
compWriter.WriteLine(line.Substring(1)); 
} 
else 
{ 
logWriter.WriteLine(line); 


} 


// clear the output directory 
sources.Delete(true) ; 


Console.WriteLine("Statistics saved to: [(loglevels.txt, components.txt]*); 


Environment.ExitCode = 0; 
} 
catch(Exception ex) 
{ 
Program. ReportError (ex); 
} 
Console.WriteLine("<Press Return>"); 


} 
/// <summary> 


/// Displays a simple informative message explaining the usage of the 


/// application. 
/// </summary> 
private static void Usage() 


Console.WriteLine(*Aneka Log Parsing - Usage Log. Parsing.Demo.Console. exe’ 
+ * [eont aml) *)» 


/// <summary> 

/// Dumps the error to the console, sets the exit code of the application to -1 
/// and saves the error dump into a file. 

/// </summary> 
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/// <param name=*ex">runtime exception</param> 
private static void ReportError (Exception ex) 
{ 
IOUtil.DumpErrorReport (Console.Out, ex, "Aneka Log Parsing-Job Terminated: ， 
+ “ERROR"); 


TOUtil.DumpErrorReport(ex, "Aneka Log Parsing-Job Terminated: ERROR"); 
Program. Usage();j 
Environment.ExitCode = -1; 


e MapReduce 作业 的 配置 。 

o 结 采 文件 的 后 处 理 。 

e HREM, 

作业 的 配置 由 Initialize 方法 执行 。 这 个 方法 从 本 地 文件 系统 中 读 取 配 置 文件 ， 并 确保 
文件 的 输入 和 输出 格式 被 设置 为 文本 。MapReduce 作业 可 以 通过 使 用 名 为 MapReduce 的 配 
置 文件 的 制定 部 分 进行 配置 。 在 这 一 部 分 ， 两 个 小 部 分 控制 输入 和 输出 文件 的 属性 ， 并 分 别 
命名 为 Input 和 Output。 输 入 和 输出 部 分 可 以 包含 下 列 属性 : 

e 格式 (字符 串 ) 定义 了 输入 文件 的 格式 。 如 果 这 一 属性 被 设置 ， 那 么 唯一 支持 的 值 是 

文本 。 

e 过 滤器 (FHF) 定义 了 检索 模式 ， 用 于 过 滤 输 入 文件 以 处 理工 作 区 目录 。 此 属性 仅 
适用 于 输出 属性 组 。 
换行 (FARE) 定义 了 用 于 在 文本 流 中 检测 (或 写 入 ) 一 个 新 行 的 字符 序列 。 当 输入 / 
输出 格式 被 设置 为 文本 ， 并 且 默 认 值 选 自 执行 环境 时 ， 这 个 值 是 有 意义 的 。 
分 离 器 (字符 ) 属性 只 出 现在 部 分 ， 并 定义 了 需要 用 于 在 输出 文件 中 从 值 分 离 出 键 的 
字符 。 如 同 前 一 属性 ， 当 输入 /输出 格式 设置 为 文本 时 该 值 是 有 意义 的 。 

除了 用 于 输入 和 输出 文件 的 具体 设置 ， 也 可 以 控制 MapReduce 作业 的 其 他 参数 。 这 些 
参数 在 主要 的 MapReduce 的 配置 部 分 中 定义 ， 它 们 的 含义 在 8.3.1 节 中 讨论 过 。 

除了 初始 化 配置 的 编程 方法 ， 也 可 以 将 这 些 设置 内 人 到 标准 Aneka 配置 文件 ， 如 程 
FF 8-13 所 示 。 


程序 8-13 ”驱动 程序 配置 文件 (conf.xml) 


<?xml version= "1.0" encoding="utf-8" ?> 
<Aneka> 
<UseFileTransfervalue="*false’ /> 
<Workspacevalue= "Workspace" /> 
<SingleSubmissionvalue=“AUTO" /> 
<PollingTimevalue="1000" /> 
<LogMessagesvalue="false’”* /> 
<SchedulerUrivalue="tcp://localhost:9090/Aneka" /> 
<UserCredential type="Aneka.Security.UserCredentials" assembly="Aneka.dll"> 
<UserCredentials username="Administrator”" password=**/> 
«</UserCredentials> | 
<Groups> 
<Group name="MapReduce” > 
<Groups> 
<Group name="Input"> 
<Property name="Format’ value="text* /> 
<Property name="Filter’ value="*.log" /> 
«</Group> 
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<Group name= "Output "> 
<Property name="Format" value="text" /> 

</Group> 
</Groups> 
<Property name="LogFile" value="Execution.log'/> 
<Property name="FetchResult" value="true" /> 
<Property name="UseCombiner" value="true" /> 
<Property name="SynchReduce”® value="false" /> 
<Property name="Partitions* value="1" /> 
<Property name="Attempts" value="3" /> 

</Group> 
</Groups> 
</Aneka> 


如 程序 8-13 所 示 ， 可 以 打开 一 个 < Group name =” MapReduce” > ... < /Group> 标签 
并 输入 所 有 执行 所 需 的 属性 。 该 Aneka 配置 文件 基于 一 个 灵活 的 框架 ， 人 允许 简单 地 输入 名 
称 - 值 属性 组 。 如 果 可 能 ，Aneka.Property 和 Aneka.PropertyGroup 类 还 具备 将 代表 属性 值 
的 字符 串 转 换 成 相应 的 内 置 类 型 的 能 力 ， 这 简化 了 读 取 和 写 入 配置 对 象 的 任务 。 

程序 8-12 中 所 示 的 第 二 个 元 素 由 输出 文件 的 后 处 理 表示 。 这 一 操作 由 OnDone 方法 执 
行 ， 其 调用 被 触发 的 条 件 是 MapReduce 作业 的 执行 过 程 中 发 生 错 误 ， 或 执行 成 功 完成 。 该 
方法 从 Aneka 组 件 名 称 的 出 现 中 分 离 日 志 级 别 标签 的 出 现 ， 通 过 将 它们 在 工作 区 目录 下 保 
存 成 两 个 不 同 的 文件 (loglevels.txt 和 components.txt) 来 完成 这 一 功能 ， 然 后 删除 已 下 载 的 
reduce 阶段 的 输出 文件 所 在 的 输出 目录 。 这 两 个 文件 包含 了 分 析 的 汇总 结果 ， 并 可 用 于 提取 
有 关 日 志文 件 的 内 容 的 统计 信息 ， 并 以 图 形 方式 显示 ， 下 一 节 将 讨论 这 一 问题 。 

可 以 考虑 的 最 后 一 个 方面 是 错误 管理 。Aneka 提供 了 一 个 包含 在 Aneka.Util 库 中 的 API 
集合 ， 代 表 用 于 自动 化 繁琐 任务 的 实用 类 ， 例 如 与 异常 关联 的 堆栈 跟踪 信息 或 关于 异常 抛 出 
类 型 的 信息 的 适当 收集 。 在 这 个 例子 中 ， 例 外 情况 下 被 触发 的 报告 功能 是 用 ReportError 方 
法 实现 的 。 该 方法 利用 了 10Util 类 提供 的 能 力 ， 以 便 把 一 个 简单 的 错误 报告 转 储 到 控制 台 和 
正在 使 用 以 下 模式 命名 的 日 志文 件 中 : errorYYYY-MM-DD hh-mm-ss.log。 

5. 运行 应 用 程序 

Aneka 产生 数量 相当 可 观 的 日 志 信 息 。 日 志 基 础 设施 的 默认 配置 是 为 容器 处 理 的 每 个 活 
动 创建 一 个 新 的 日 志文 件 ， 或 一 旦 日 志文 件 的 范围 超出 10M， 也 将 创建 一 个 新 的 日 志文 件 . 
因此 ， 通 过 简单 地 持续 几 天 运行 Aneka 云 ， 收 集 足够 的 数据 用 于 示例 应 用 的 挖掘 是 很 容易 
的 。 此 外 ， 此 方案 也 是 MapReduce 的 一 个 真实 案例 ， 因 为 它 最 常见 的 实际 应 用 之 一 是 从 日 
志和 执行 痕迹 中 提取 半 结 构 化 信息 。 

在 测试 的 执行 中 使 用 了 一 个 分 布 式 基础 设施 ， 它 包括 七 个 工作 节点 和 一 个 通过 LAN E 
连 的 主 节点 。 我 们 将 不 同 大 小 的 18 个 日 志文 件 处 理 成 122 MB 的 总 大 小 。MapReduce 作业 
在 收集 数据 上 的 执行 产生 存储 在 loglevels.txt 和 components.txt 文件 中 的 结果 ， 并 分 别 在 图 
8-12 和 图 8-13 中 用 图 形 表 示 。 

这 两 个 图 表明 ， 在 存储 器 处 理 产生 的 日 志文 件 中 有 相当 数量 的 非 结构 化 信息 。 特 别 地 ， 
约 60% 的 记录 内 容 在 分 类 中 被 跳 过 。 此 内 容 更 可 能 根据 堆栈 跟踪 的 结果 而 转 储 到 日 志文 件 
中 ， 作 为 错误 和 警告 记录 的 结果 产生 一 个 不 被 识别 的 行 序列 。 图 8-13 展示 了 使 用 日 志 API 
的 组 件 之 间 的 分 布 。 该 分 布 在 识别 为 有 效 的 日 志 项 中 的 数据 上 计算 ， 该 图 形 显示 这 些 项 中 只 
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A 24 20% 没有 被 map 函数 执行 的 解析 器 识别 。 之 后 可 以 推断 ， 从 日 志 分 析 中 提取 的 有 意义 
的 信息 约 占 整 个 日 志 数 据 的 32% (分 析 过 的 全 部 行 的 40% 中 的 80%). 
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图 8-13 组 件 记 录 分 布 


管 map 任务 实现 的 分 析 函 数 比 较 简 单 ， 但 这 个 实际 例子 说 明了 Aneka MapReduce 编 


Pins 可 用 于 简单 地 执行 海量 数据 分 析 任 务 。 研 究 该 案例 的 目 的 不 是 为 了 创建 一 个 功能 非 
BRAN ATT PAL, 而 是 为 了 演示 如 何在 逻辑 上 和 编程 上 使 用 MapReduce 处 理 真 实 的 数据 
分 析 案 例 ， 以 及 如 何在 Aneka 的 API 上 实现 它 。 
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本 章 小 结 


本 章 介绍 了 教 据 密集 型 计算 的 主要 特点 。 数 据 密集 型 应 用 处 理 或 产生 海量 数据 ， 或 呈现 
计算 密集 型 的 性 质 。 钨 发 数据 密集 型 计算 的 定义 数据 量 ， 以 及 用 于 数据 密集 型 计算 的 技术 、 
编程 和 存储 模型 ， 都 在 随时 间 不 断 变 化 。 数 据 密集 型 计算 原本 是 在 高 速 广域网 的 应 用 中 突出 
的 一 个 领域 ， 现 在 则 是 云 存 储 的 领域 ， 其 中 数据 的 量 达 到 TB 级 (MRA Zz PBR), MAR 
称 为 大 教 握 。 这 个 词 表 示 产 生 、 处 理 和 控 据 的 大 量 信息 ， 不 仅 通过 科学 应 用 也 通过 提供 互联 
网 服务 的 公司 ， 如 搜索 、 在 线 广告 、 社 交 媒 体 和 社交 网 络 。 

大 数据 世界 的 一 个 有 趣 特 点 是 数据 以 一 个 半 结 构 化 或 非 结 构 化 的 形式 表示 - 因此 ,基于 
关系 数据 库 的 传统 方法 不 能 够 有 效 地 支持 数据 密集 型 应 用 。 A T ARRE, AMAR 
了 新 的 方法 和 存储 模型 。 在 存储 系统 的 背景 下 ， 最 重要 的 努力 方向 是 高 性 能 分 布 式 文件 系 
统 、 存 储 云 和 基于 NoSQL 系统 的 实现 。 对 于 编写 数据 密集 型 应 用 的 文 持 ,最 相关 的 创新 是 
MapReduce 的 引进 及 其 所 有 的 改进 版 本 、， 旨 在 将 该 方法 的 适用 性 扩展 到 更 大 范围 的 场景 . 

MapReduce 由 谷歌 提议 并 提供 了 一 种 简单 的 方法 来 处 理 基 于 map 和 reduce SP RARE 
义 的 大 批量 的 数据 ， 这 些 数据 可 进行 两 段 式 的 处 理 。 首 先 ，map 阶段 从 数据 中 提取 有 价值 的 
信息 并 以 键 - 值 对 形式 存储 ， 之 后 这 些 键 -ERZE reduce 阶段 聚集 起 来 - RERE 
型 有 所 局 限 ， 但 在 几 个 应 用 场景 中 已 被 证 明 是 成 功 的 - 

本 章 讨论 了 谷歌 提出 的 MapReduce 参考 模型 ， 并 指明 了 其 相关 变化 方向 之 后 捷 
述 了 Aneka MapReduce 的 实现 ， 与 Aneka 中 的 线程 和 任务 编程 模型 类 似 ， 讨 论 了 支持 
MapReduce 应 用 的 设计 和 实现 的 编程 抽象 。 接 着 介绍 了 为 MapReduce 作业 执行 的 Aneka 
运行 时 服务 的 结构 和 组 织 。 最 后 通过 逐步 实现 的 案例 总 结 了 如 何 运 用 Aneka MapReduce 的 
API 来 设计 和 实施 应 用 . 


习题 


. 什么 是 数据 密集 型 计算 ? 描述 这 个 术语 的 特点 . 

. 介绍 支持 数据 密集 型 计算 最 重要 的 技术 的 历史 背景 。 

. 什么 是 所 谓 的 大 数据 的 特征 ? 

- 列 出 一 些 支持 数据 密集 型 计算 的 重要 存储 技术 并 描述 其 中 一 个 - 

. 撞 述 谷歌 文件 系统 的 架构 . 

- 术语 NoSQL EHAE? 

. 撞 述 亚马逊 简单 存储 最 务 (S3) 的 特点 . 

. 什么 是 谷歌 Bigtable ? 

. 支持 数据 密集 型 计算 的 编程 平台 的 要 求 是 什么 ? 

10. 什么 是 MapReduce ? 

11. #828 MapReduce 可 以 敌 决 的 问题 类 型 并 给 出 一 些 实例 . 

12. Jl MapReduce 的 一 些 变 化 或 扩展 . 

13. Aneka MapReduce 编程 模型 的 主要 组 成 部 分 是 什么 ? 

14. MapReduce 模型 与 Aneka 支持 的 和 本 书 中 讨论 的 其 他 模型 有 什么 不 同 ? 
15. 描述 构成 支持 MapReduce 的 运行 时 基础 设施 的 调度 和 执行 服务 的 组 件 。 
16. 擅 述 用 于 设计 Aneka MapReduce 的 数据 存储 层 的 架构 和 用 于 处 理 MapReduce 文件 的 I/O API. 
17. 使 用 MapReduce 设计 和 实现 一 个 简单 的 程序 来 完成 Pi 的 计算 。 
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云 计算 允许 终端 用 户 和 开发 者 利用 大 规模 分 布 式 计算 的 基础 设施 ， 使 得 基础 设施 管理 
软件 和 分 布 式 计算 平台 提供 按 需 的 计算 、 存 储 及 更 高 级 的 服务 成 为 可 能 。 关 于 建立 企业 级 
的 云 计算 应 用 程序 或 者 使 用 云 计算 技术 来 集成 和 扩展 现 有 的 行业 应 用 ， 有 几 种 不 同 的 观点 。 
K 9-1 概括 了 一 些 著名 的 云 计算 平台 和 它们 提供 的 服务 类 型 的 简单 描述 。 可 以 使 用 单一 的 技 
术 和 供应 商 或 者 它们 的 组 合 来 开发 一 个 云 计算 系统 。 

表 9-1 云 计算 产品 案例 


供应 商 / 产品 描述 
亚马逊 网 络 服务 (AWS) 是 一 个 网 络 服务 的 集合 ， 为 开发 者 提 
亚马逊 网 络 服务 供 计 算 、 存 储 和 更 加 高 级 的 服务 。IaaS 服务 是 AWS 最 流行 的 服 
务 ， 弹 性 计算 服务 EC2 是 AWS 最 基本 的 服务 


微软 Azure 微软 Azure 是 一 个 云 操作 系统 ， 为 开发 基于 专 有 的 Hyper-V 虚 
拟 化 技术 和 .NET 框架 的 可 扩展 的 应 用 程序 提供 服务 
SalesForce.com 是 一 个 “软件 即 服务 ”的 解决 方案 ， 可 以 使 用 


谷歌 AppEngine 是 一 个 分 布 式 可 扩展 的 运行 平台 ， 基 于 Java 和 
谷歌 AppEngine PaaS Python 运行 时 环境 来 开发 可 扩展 网 络 应 用 程序 。 这 些 丰富 的 访问 
服务 形式 ， 以 可 扩展 的 方式 简化 了 应 用 程序 的 开发 


S ’ 
SalesForce.com 和 Force.com BaD Paa CRM 应 用 的 原型 。 它 利用 Force.com 平台 来 开发 新 的 CRM 应 用 
程序 组 件 和 功能 
Heroku Heroku 是 一 个 可 扩展 的 运行 时 环境 ， 基 于 Ruby 构建 应 用 程序 
Beatle RightScale TABS, 用 一 个 单独 的 控制 面板 来 管理 
公共 云 和 混合 云 


本 章 给 出 了 一 些 市 场 上 具有 代表 性 的 基础 设施 即 服 务 ( IaaS) 和 平台 即 服务 (Paas) 的 
云 计算 解决 方案 ， 并 围绕 云 计算 的 主要 技术 和 服务 架构 等 实际 问题 展开 讨论 。 


9.1 亚马逊 Web 服务 


With Web 服务 ( Amazon Web Services, AWS) 是 一 个 平台 ， 通 过 提供 弹性 基础 架构 
的 可 扩展 性 、 消 息 传递 和 数据 存储 解决 方案 ， 开 发 灵活 的 应 用 程序 。 该 平台 通过 SOAP 或 
RESTful Web 服务 接口 访问 ， 并 提供 了 基于 Web 的 控制 台 ， 用 户 可 以 对 所 需 的 资源 及 基于 
“ 即 用 即 付 ”计算 方式 的 费用 进行 管理 和 监控 。 

9-1 给 出 了 AWS 生态 系统 提供 的 所 有 服务 。 解 决 方案 的 底层 提供 原始 的 计算 和 存 
储 服务 : 亚马逊 弹性 计算 云 服 务 ( Amazon Elastic Compute, EC2) 和 亚马逊 简单 存储 服务 
(Amazon Simple Storage Service，S3 )， 这 是 两 个 最 流行 的 服务 ， 一 般 与 其 他 产品 互相 补充 
一 起 构成 一 个 完整 的 系统 。 在 更 高 层 上 ， 弹 性 MapReduce 和 自动 伸缩 ( AutoScaling) 为 构 
建 更 智能 、 更 弹性 的 计算 系统 提供 了 更 好 的 附加 功能 。 在 数据 方面 ， 弹 性 块 存储 (Elastic 
BlockStore, EBS), 3& 3) it jh) #4442 (Amazon SimpleDB )、 亚 马 逊 关系 数据 库 (Amazon 





RDS) 和 亚 马 示 弹性 缓存 (Amazon ElastiCache) 提供 了 可 靠 的 数据 快照 和 结构 化 及 半 结 构 化 
的 数据 管理 。 禾 盖 在 网 络 层 的 亚 蕊 进 虚 拟 私有 云 ( Amazon Virtual Private Cloud, VPC). ## 
性 负载 均衡 ( Elastic Load Balancing), Amazon Route 53 和 亚马逊 直接 连接 ( Amazon Direct 
Connect) 完成 通信 需求 。 更 加 高 级 的 连接 应 用 程序 服务 包括 : 亚马逊 简单 队列 服务 (Amazon 
Simple QueueService, SQS), Æ 5 ih fj -Ži 4 IR F ( Amazon Simple Notification Service, 
SNS) fil LS i fe) 4% OR 4 ARF (Amazon Simple E-mail Service，SES)。 其 他 服务 包括 : 

e if Cloud Front， 内 容 发 布 网 络 解决 方案 。 

e ith CloudWatch， 几 个 亚马逊 服务 的 监控 解决 方案 。 

se 亚马逊 弹性 BeanStalk 和 Cloud Formation， 灵 活 的 应 用 打包 和 部 署 。 

如 上 所 示 ，AWS 包括 一 系列 广泛 的 服务 。 通 过 分 析 AWS 解决 方案 相关 的 计算 、 存 储 、 
通信 和 配套 服务 ， 本 章 将 讨论 其 中 最 重要 的 服务 。 



















计算 服务 仓储 服务 


亚马逊 弹性 计算 云 Teh ed Fe He A 
(EC2) (S3) 


通信 服务 


亚马逊 简单 队列 服务 
(SQS) 


其 他 服务 


亚马逊 GovCloud 





— 


| 亚马逊 弹性 亚 马 进 弹性 块 存储 亚马逊 简单 通知 服务 亚马逊 CloudWatch 
| | MapReduce (EBS) (EBS) i 

















亚马逊 灵活 支付 服务 
(FPS) 






亚马逊 简单 邮件 服务 
(SES) 


亚马逊 DevPay 





亚马逊 实施 Web 服 
务 (FWS) 


A hha 亚马逊 关系 数据 库 
(RDS) 






亚马逊 士 耳 其 机 句 人 


亚马逊 CloudFront 


Alexa 网 络 信息 服务 


Alexa 顶级 网 站 





亚马逊 AWS 平台 


图 9-1 亚马逊 Web 服务 生态 系统 


9.1.1 计算 服务 


计算 服务 构成 云 计 算 系统 的 基础 服务 。 这 里 的 基础 服务 指 的 是 亚马逊 EC2， 它 提供 了 一 
个 laas 解决 方案 ， 已 成 为 同一 细 分 市 场 中 若干 其 他 厂商 产品 的 参考 模型 。 亚 马 逊 EC2 允许 
以 虚拟 机 的 形式 部 署 服务 器 ， 虚 拟 机 即 创建 一 个 特定 映像 的 实例 。 映 像 配 有 预 装 的 操作 系统 
和 软件 栈 ， 实 例 可 以 配置 内 存 、 多 个 处 理 器 和 存储 器 。 用 户 提供 凭证 远程 访问 实例 ， 如 条 需 
要 ， 可 以 进一步 配置 或 安装 软件 。 
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4. 亚马逊 机 器 映像 
亚马逊 机 器 映像 ( Amazon Machine Images, AMIS) 是 用 于 创建 虚拟 机 的 模板 。 它 们 存 
储 在 Amazon S3， 以 唯一 的 标识 符 “ ami-xxxxxx” 格 式 和 一 个 清单 XML 文件 来 识别 。 一 
个 AMI 包 含 一 个 物理 文件 系统 格式 ， 可 以 安装 预定 义 的 操作 系统 。 这 些 由 亚马逊 内 存 映 像 
(Amazon Ramdisk Image, ARI, id: ari-yyyyyy) 和 亚马逊 内 核 映 像 (Amazon Kernel Image, 
AKI, id: aki-zzzzzz) 指定 ， 这 二 者 是 模板 的 部 分 配置 。AMI 要 人 么 从 头 开 始 创 建 ， 要 么 从 现 
有 的 EC2 实例 “捆绑 ”。 通 常 的 做 法 是 : 准备 新 的 AMI， 从 一 个 已 经 存在 的 AMI 创建 一 个 
实例 ， 一 旦 启动 和 运行 就 登录 到 实例 ， 并 安装 所 需 的 所 有 软件 。 使 用 亚马逊 提供 的 工具 ， 可 
以 将 实例 转换 到 一 个 新 的 映像 。 一 旦 一 个 AMI 被 创建 ， 它 将 存储 在 一 个 S3 存储 桶 ， 用 户 可 
以 决定 其 是 否 供 其 他 用 户 使 用 或 保留 供 个 人 使 用 。 最 后 ， 还 可 以 将 产品 代码 与 给 定 的 AMI 
相关 联 ， 从 而 每 当 AMI 创建 EC2 实例 时 ，AMI 的 拥有 者 将 获得 收益 。 
2. EC2 实例 
EC2 实例 代表 虚拟 机 。EC2 使 用 AMI 作为 模板 创建 实例 ， 模 板 是 专门 用 来 选择 内 核 
数量 、 计 算 能 力 以 及 所 安装 的 存储 器 的 。 处 理 能 力 表 现在 虚拟 内 核 和 EC2 计算 单元 (EC2 
Compute Unit, ECU). ECU 是 一 个 虚拟 内 核 的 运算 能 力 的 度量 方式 ， 表 示 分 配给 一 个 实例 
的 真实 CPU 的 预测 数量 。 通 过 使 用 计算 单元 ， 而 不 是 实际 频率 值 ， 亚 马 逊 可 以 随 着 时 间 变 
化 将 这 些 单元 映射 为 底层 实际 分 配 的 计算 能 力 值 ， 从 而 保持 EC2 实例 的 性 能 与 当前 制定 的 
标准 相 一 致 。 随 着 时 间 的 推移 ， 支 撑 相 关 基 础 设施 的 硬件 会 被 更 强大 的 硬件 替代 ， 而 有 了 
ECU 的 帮助 ，EC2 实例 提供 给 用 户 的 性 能 是 一 致 的 。 由 于 用 户 是 租用 计算 能 力 ， 而 不 是 购 
买 硬 件 ， 所 以 这 样 的 做 法 是 合理 的 。 一 个 ECU 的 性 能 与 一 个 1.0 ~ 1.2 GHz 2007 Opteron 
或 2007 Xeon 处 理 器 的 运算 能 力 ? 相 同 。 
K 9-2 列 出 了 EC2 实例 的 所 有 当前 可 用 的 配置 ， 可 以 分 成 六 大 类 : 
e 标准 实例 。 此 类 提供 了 一 组 配置 ,适合 于 大 多 数 应 用 。EC2 提供 了 三 种 不 同 的 类 型 
来 增加 计算 能 力 、 存 储 和 内 存 。 
© 微 实 例 。 此 类 型 适合 那些 消费 有 限 的 计算 能 力 和 内 存 容 量 ， 偶 尔 需要 打 断 CPU 周期 
来 处 理 激增 的 工作 负荷 的 应 用 。 微 实例 可 用 于 小 型 Web 应 用 程序 与 有 限 的 通信 量 
e 超大 内 存 实 例 。 这 个 类 型 针对 需要 处 理 巨大 的 工作 量 、 需 要 大 量 内 存 的 应 用 程序 
高 流量 的 三 层 Web 应 用 程序 是 目标 配置 文件 。 三 类 方法 可 以 增加 内 存 和 CPU， 其 中 
占用 内 存 的 比例 大 于 计算 能 力 。 
o 超 强 CPU 实例 。 本 类 型 针对 计算 密集 型 应 用 程序 。 有 两 种 配置 可 供 选择 ， 其 中 运算 
能 力 比 例 的 增加 超过 内 存 。 
e 集群 计算 实例 。 这 个 类 型 用 来 提供 虚拟 集群 服务 。 特 点 是 高 CPU 计算 能 力 和 大 容量 
内 存 ， 并 具有 极 高 的 IO 和 网 络 性 能 ， 这 使 得 它 适合 于 高 性 能 计算 应 用 程序 。 
© 集群 GPU 实例 。 这 个 类 型 提供 的 实例 具有 图 形 处 理 单元 (GPU) 和 高 计算 能 力 ， 以 
及 大 容量 存储 器 和 非常 高 的 1/O 和 网 络 性 能 。 此 类 型 特别 适合 于 集群 应 用 程序 执行 大 
量 图 形 计算 ， 如 演 染 集群 。 由 于 GPU 可 用 于 通用 计算 ， 这 些 实例 的 用 户 可 以 从 附加 
的 计算 能 力 获 益 ， 这 使 得 此 类 型 适合 HPC 应 用 程序 。 


Ə http://aws.amazon.com/ec2/faqs/#What_is_an EC2_ Compute Unit and why did _you_introduce it. 


Zot LLRF 231 


表 9-2 ”亚马逊 EC2( 按 需 ) 实例 特征 

平台 价格 ( 美国 东部 )(USD/ 小 时 ) 

$0.085 Linux $0.12 Windows 
标准 实例 50.340Linux $0.48 Windows 

超大 [84x2 | 64bit | 15GB | 1690GB | $0.680Linux $0.96 Windows 
TER me |<2 | 32/64bit | 613MB | {EBS | $0.020Linux $0.03 Windows 

超大 型 | 6.5(2x3.25) | 64bit | 17.1GB | 420GB | $0.500Linux $0.62 Windows 
超大 内 存 实例 | 两 倍 超大 型 | 13(4x3.25) | 64bit | 342GB | 850GB $1.000Linux $1.24 Windows 

$2.000Linux $2.48 Windows 
超 强 CPU 实例 $0.170Linux $0.29 Windows 

超大 型 |20(8x25) | 64bit | 7GB | 1690GB_ | $0.680Linux $1.16 Windows 
集群 实例 四 信 超 大 型 | 335 | 64bit | 23GB | 1690GB | $1.600Linux $1.98 Windows 
集群 图 像 实例 $2.100Linux $2.60 Windows 


EC2 实例 的 定价 根据 其 类 别 按 小 时 收费 。 在 开始 使 用 的 每 小 时 ， 用 户 将 付 整个 小 时 的 费 
A. 一 个 实例 每 小 时 的 费用 是 固定 的 。 实 例 拥 有 者 负责 提供 备份 策略 ， 因 为 不 能 保证 实例 将 
运行 整个 小 时 。 另 一 种 方法 是 用 即时 实 倒 表示。 这 些 实例 在 价格 和 有 效 期 方面 更 具 动 态 性 ， 
因为 它们 是 根据 EC2 负载 和 资源 可 用 性 提供 给 用 户 使 用 的 。 用 户 定义 其 愿意 支付 的 价格 上 
限 ， 只 要 目前 的 价格 (即时 价格 ) 在 给 定 的 上 限 之 下 ， 实 例 就 保持 运行 。 即 时 实例 在 每 小 时 
开始 时 进行 计 费 。 即 时 实例 比 正 常 实例 更 不 稳定 ， 正 常 实例 中 EC2 会 尽量 保持 实例 处 于 活 
牙 状 态 ， 即 时 实例 就 不 能 保证 了 -。 因此， 执行 备份 和 检查 点 策略 是 不 可 避免 的 。 

EC2 实例 可 以 通过 使 用 亚马逊 提供 的 命令 行 工具 连接 亚马逊 网 络 服务 。 亚 马 逊 网 络 服务 
允许 远程 访问 EC2 基础 设施 或 AWS 控制 台 ，AWS 控制 台 可 管理 其 他 服务 ， 如 S3。 默 认 情 
况 下 ， 一 个 EC2 实例 由 AMI 相关 的 内 核 和 磁盘 创建 。 这 些 为 实例 定义 架构 (32 位 或 64 位) 
和 可 用 的 磁盘 空间 ， 这 个 磁盘 是 暂时 的 ， 一 旦 实例 关闭 ,磁盘 的 内 容 将 丢失 。 或 者 ， 它 可 能 
将 实例 附加 在 一 个 EBS BL, HAA HATE S3。 如 果 默 认 的 AKI 和 ARI 不 匹配 ，EC2 
通过 指定 不 同 的 AKI 与 ARI 来 提供 运行 EC2 实例 的 能 力 ， 从 而 保证 实例 创建 的 灵活 性 。 

3. EC2 环境 

EC2 实例 在 虚拟 环境 中 执行 ， 该 环境 提供 了 实例 运行 应 用 程序 所 需 的 服务 。EC2 环境 负 
责 分 配 地 址 、 附 加 存储 卷 、 配 置 访 问 控制 和 网 络 连接 方面 的 安全 。 

默认 情况 下 ， 实 例 由 内 部 IP 地 址 创建 ， 这 使 得 它们 能 够 在 EC2 内 部 网 络 通信 和 作为 客 
户 端 访问 互联 网 。 可 将 弹性 IP 关联 到 每 个 实例 ， 超 时 的 情况 下 可 以 重新 映射 到 不 同 的 实例 。 
弹性 IP 允许 运行 在 EC2 的 实例 作为 服务 器 访问 互联 网 和 执行 故障 转移 能 力 ， 因 为 它们 没 
有 完全 绑 定 到 具体 的 实例 。EC2 实例 与 外 部 IP 一 起 指定 了 一 个 域名 ， 一般 形式 是 ec2-xxx- 
xxx-xxx.Compute-x.amazonaws.com， 其 中 xxx-xxx-xxx 通常 代表 用 英文 破 折 号 分 开 的 外 部 IP 
地 址 的 四 部 分 ，compute-x 提供 了 实例 部 署 的 可 用 地 区 信息 。 目 前 ， 有 五 个 价格 不 同 的 可 用 
地 区 : 两 个 在 美国 (弗吉尼亚 州 和 加 利 福 尼 亚 北部 )， 一 个 在 欧洲 (爱尔兰 )， 两 个 在 亚太 地 
区 (新加坡 和 东京 )。 

实例 所 有 者 只 能 部 分 控制 在 哪里 部 署 实例 。 不 过 ， 他 们 可 以 更 精细 地 控制 实例 的 安全 
性 以 及 网 络 访问 性 。 创 建 实例 时 ， 实 例 所 有 者 可 以 将 一 个 密 钥 对 联合 一 个 或 多 个 实例 ,一 
日 实例 运行 ， 密 钥 对 允许 所 有 者 远程 连接 并 获得 root WAR. Lm EC2 通过 基本 防火 声 
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配置 控制 一 个 虚拟 实例 的 可 访问 性 ， 规 定 源 地 址 、 端 口 和 协议 (TCP、UDP、ICMP)。 规 则 
也 可 以 连接 到 安全 组 ， 在 实例 部 署 之 前 作为 一 个 或 多 个 组 的 一 部 分 。 安 全 组 和 防火 墙 规则 
构成 了 一 种 灵活 的 方式 ， 为 EC 实例 提供 基本 的 安全 保障 ,实例 本 身 必 须 辅 以 适当 的 安全 
配置 。 

4. 高 级 计算 服务 

EC2 实例 和 AMI 构成 了 建立 laas 云 计 算 的 基本 模块 。 此 外 ， 亚 马 逊 网 络 服务 提供 了 更 
加 完善 的 服务 ， 使 得 应 用 程序 和 执行 基于 MapReduce 应 用 程序 的 计算 平台 易于 封装 和 部 团 。 

(1) AWS CloudFormation 

AWS CloudFormation 是 一 个 具有 EC2 特征 的 实例 的 简单 部 署 模型 的 扩展 。CloudFormation 
引 人 了 模板 的 概念 。 模 板 是 JSON 格式 的 文本 文件 ， 描 述 在 EC2 运行 一 个 应 用 程序 或 服务 
及 它们 之 间 的 关系 所 需要 的 资源 。CloudFormation 可 以 很 容易 地 显 式 链接 EC2 实例 并 作为 
它们 之 间 的 依赖 关系 。 模 板 提 供 了 一 个 简单 的 声明 方式 来 构建 复杂 的 系统 ， 整 合 EC2 实例 
与 其 他 AWS 服务 ， 如 S3、SimpleDB、SQS、SNS、Route 53, Elastic Beantalk 等 . 

(2) AWS 弹性 Beanstalk 

AWS 弹性 Beanstalk 是 一 个 在 AWS 云 上 打包 和 部 署 应 用 程序 的 简单 方法 。 该 服务 可 以 
简化 供应 实例 和 部 署 应 用 程序 代码 的 过 程 ， 并 提供 适当 的 访问 权限 。 目 前 ， 这 项 服务 仅 适 用 
于 Java/Tomcat 技术 栈 开 发 的 Web 应 用 程序 。 开 发 人 员 可 以 方便 地 将 Web 应 用 程序 打包 成 
一 个 WAR 文件 ， 并 使 用 Beanstalk 自动 将 其 部 署 在 AWS 云 上 。. 

相对 于 该 自动 云 部 署 的 其 他 解决 方案 ，Beanstalk 简化 了 繁琐 的 任务 ， 不 移 除 用 户 的 访 
问 能 力 ， 接 管 了 底层 的 EC2 实例 。EC2 实例 构成 应 用 程序 在 其 上 运行 的 虚拟 基础 设施 。 对 
F AWS CloudFormation, AWS Elastic Beanstalk 提供 了 在 云 上 部 署 应 用 程序 的 高 级 方法 ， 
它 不 要 求 用 户 指 定 EC2 实例 及 其 依赖 方面 的 基础 设施 。 

(3) 亚 马 示 弹性 MapReduce 

T Z FIÑ tE MapReduce X AWS 用 户 的 MapReduce 应 用 提供 云 计 算 平台 。 它 采用 
Hadoop 作为 MapReduce 的 引擎 ， 部 署 在 EC2 实例 组 成 的 虚拟 基础 架构 上 ， 并 使 用 亚 马 
逊 S3 实现 存储 需求 。 除 了 支持 连接 到 Hadoop (Pig, Hive 等 ) 的 所 有 的 应 用 程序 栈 ， 弹 性 
MapReduce 人 允许 用 户 根据 上 自己 的 需要 动态 地 估计 Hadoop 集群 的 大 小 ， 以 及 选择 EC2 实例 
的 适当 配置 来 组 成 集群 (小 型 、 超 大 内 存 、 超 强 CPU、 集 群 计算 和 集群 GPU)。 在 这 些 服务 
之 上 ， 弹 性 MapReduce 还 提供 基本 的 Web 应 用 程序 ， 让 用 户 快 速 运 行 数据 密集 型 应 用 程序 
而 无 需 编 写 代码 。 


9.1.2 存储 服务 


AWS 提供 了 一 系列 的 数据 存储 和 信息 管理 服务 ， 其 核心 服务 由 亚 马 进 简单 存储 服务 
(S3 ) 表示 。S3 是 一 个 分 布 式 对 象 存储 ， 人 允许 用 户 将 信息 以 不 同 的 格式 存储 。S3 的 核心 部 件 
有 两 个 : 桶 和 对 象 。 桶 代表 存储 对 象 的 虚拟 容器 ， 对 象 代表 实际 存储 的 内 容 。 对 象 可 以 通过 
元 数据 不 断 充 实 ， 元 数据 用 来 为 所 存储 的 内 容 标记 附加 信息 。 

1. S3 核心 概念 

顾名思义 ，S3 的 设计 是 为 了 提供 一 个 简单 的 存储 服务 ， 通 过 一 个 表征 状态 转移 
(Representational State Transfer，REST) 的 接口 进行 访问 ， 非 常 类 似 分 布 式 文件 系统 ， 但 一 
些 重要 的 差别 使 基础 设施 更 高 效 : 
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存储 器 组 织 为 两 层 结构 。S3 将 存储 空间 组 织 成 不 能 进一步 分 割 的 桶 。 这 意味 着 它 不 
能 通过 创建 目录 或 其 他 类 型 的 物理 分 组 在 桶 中 存储 对 象 。 尽 管 如 此 ，S3 对 命名 对 象 
限制 很 少 ， 人 允许 用 户 模拟 目录 ， 并 创建 还 辑 分 组 。 

o 存储 的 对 象 不 能 像 标准 文件 那样 操作 。S3 为 对 象 提供 的 存储 基本 不 随时 间 变 化 。 因 
此 ， 它 不 允许 重 命 名、 修改 或 重新 定位 对 象 。 一 旦 对 象 添加 到 桶 ， 其 内 容 和 位 置 是 
不 变 的 ， 改 变 它 的 唯一 方法 是 从 存储 中 删除 该 对 象 并 重新 添加 。 

e 内 容 不 能 立即 供用 户 使 用 。S3 的 主要 设计 目标 是 提供 一 个 最 终 一 致 的 数据 存储 。 其 

结果 是 ， 因 为 它 是 一 个 大 型 的 分 布 式 存储 设施 ， 所 以 更 改 不 会 立即 表现 出 来 。 例 如 ， 

S3 在 全 球 范围 内 使 用 复制 来 提供 元 余 和 高 效率 的 服务 对 象 ， 这 种 做 法 导致 了 延迟 ， 

当 在 存储 中 添加 一 个 对 象 时 ， 特 别 是 大 对 象 时 ， 不 能 在 全 球 范围 内 立即 使 用 。 

请 求偶 尔 会 失败 。 由 于 采用 大 型 分 布 式 基 础 架构 管理 ， 对 对 象 的 请 求 可 能 偶尔 会 失 

败 。 在 一 定 条 件 下 ，S3 可 以 决定 通过 返回 一 个 内 部 服务 器 错误 而 放弃 一 个 请 求 。 因 

此 ， 预 计 在 日 党 操作 中 会 有 一 个 小 故障 率 ， 通 常 不 会 是 持久 的 故障 。 

S3 访问 提供 RESTful 网 络 服务 ， 即 对 存储 需 执 行 的 所 有 操作 以 HTTP (GET、PUT、 
DELETE, HEAD fil POST) 请 求 的 形式 进行 ， 根 据 它 们 的 地 址 元 素 而 执行 不 同 的 操作 。 一 
般 来 说 , PUT/POST 请 求 用 于 在 存储 中 增加 新 的 内 容 , GET/HEAD 请 求 用 于 检索 内 容 和 信息 ， 
DELETE 请 求 用 于 删除 和 链接 它们 的 元 素 或 信息 。 

(1) 资源 命名 

桶 、 对 象 和 附加 的 元 数据 通过 一 个 REST 接口 进行 访问 。 因 此 ， 它 们 由 s3.amazonaws. 
com 域 中 的 统一 资源 标识 符 ( URI) 的 表示 。 然 后 ， 所 有 操作 的 执行 被 表示 为 指向 URI 请 求 
的 实体 。 

亚马逊 提供 三 种 不 同方 式 来 表示 桶 地 址 : 

o 标准 形式 ; http://s3.amazonaws.com/bukect_name/。 桶 名 称 作 为 域名 s3.amazonaws. 

com 的 路 径 组 成 部 分 。 这 个 命名 约定 可 使 用 的 字符 限制 较 少 ， 所 有 的 字符 都 可 以 在 
路 径 组 成 中 使 用 。 
o 子 域名 形式 : http://bucketname.s3.amazon.com/。 男 外 ， 还 可 以 使 用 子 域名 s3.amazonaws. 
com 引用 桶 。 用 这 种 形式 表示 桶 名 称 时 ， 该 名 称 必须 遵守 下 列 规则 : 
e 字符 长 度 3 ~ 63. 
e 只 能 包含 字母 、 数 字 、 英 文句 点 和 英文 破 折 号 。 
ir ecg nn 
至 少 包含 一 个 字母 。 
» BSE SCART SITAR 直 尾 ， 或 者 是 空 字符 串 ， 句 点 之 间 没 有 碎片 。 
使 用 时 这 种 形式 等 同 于 之 前 的 形式 ， 但 首选 是 这 种 形式 ， xt de Te: 83 Ht 
的 资源 的 地 理 位 置 更 有 效 。 
o 虚拟 主机 形式 :http:Wbucket-name.com/。 亚 马 逊 还 允许 资源 引用 上 自 定 义 的 URL, 这 
是 通过 输入 一 个 CNAME 记录 到 指向 桶 URI 的 子 域名 形式 的 DNS 来 实现 的 。 

由 于 $3 逻辑 上 组 织 为 扁平 的 数据 存储 ， 所 有 的 棚 都 在 s3.amazonaws.com 域 下 进行 管 
理 。 因 此 ， 桶 的 名 称 必须 在 所 有 的 用 户 间 是 唯一 的 。 

对 象 指 的 是 给 定 桶 的 当地 资源 。 因 此 ， 它 们 总 是 显示 为 一 个 URI 的 资源 分 量 的 一 部 分 。 
桶 可 以 表示 为 三 种 不 同 的 方式 ， 对 象 间接 地 继承 这 种 灵活 性 : 
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e 标准 形式 : http://s3.amazonaws.com/bukect_name/object_name. 

e 子 域 形式 : http://bucket-name/s3.amzonaws.com/object_name。 

e 虚拟 主机 形式 : http://bucket-name.com/object_name。 

除了 用 ”?” 号 将 URI 资源 路 径 从 用 户 请 求 的 参数 集中 分 离 出 来 ， 桶 名 后 符号 “/” 之 
后 所 有 的 字符 构成 对 象 的 名 称 。 例 如 ， 表 示 部 分 对 象 名 称 的 路 径 分 隔 符 在 桶 存储 中 没有 相应 
的 物理 布局 。 尽 管 如 此 ， 它 们 仍然 可 以 用 来 创建 与 目录 类 似 的 逻辑 分 组 。 

最 后 ， 是 关于 一 个 给 定 对 象 的 具体 信息 ， 比 如 它 的 访问 控制 策略 或 桶 中 定义 的 服务 器 日 
志 设 置 ， 可 以 使 用 特定 的 参数 来 引用 。 更 确切 地 说 : 

è XJ% ACL: http://s3.amazonaws.com/bukect_name/object_name?acl. 

e 桶 服务 日 志 : http://s3.amzonaws.com/bucket_name?logging. 

对 象 元 数据 不 能 通过 一 个 特定 的 URI 直接 访问 ， 而 要 通过 在 URL 的 请 求 中 添加 属性 来 
访问 ， 添 加 的 属性 不 属于 标识 符 的 一 部 分 。 

(2) 桶 

桶 是 对 象 的 容器 。 它 可 以 看 作 是 一 个 托管 在 S3 分 布 式 存储 的 虚拟 驱动 器 ， 为 用 户 提 供 
可 以 添加 对 象 的 扁平 存储 方式 。 桶 是 S3 存储 架构 的 顶层 元 素 ， 不 支持 嵌 套 。 也 就 是 说 ， 它 
不 可 能 创建 “ 子 桶 ”或 其 他 类 型 的 物理 分 割 。 

桶 位 于 一 个 特定 的 地 理 位 置 ， 桶 的 复制 是 为 了 实现 更 好 的 容错 能 力 和 内 容 分 布 。 用 户 可 
以 选择 创建 桶 的 位 置 ， 默 认 情 况 下 在 亚马逊 的 美国 数据 中 心 创建 。 一 旦 创建 了 桶 ， 所 有 属 
于 该 桶 中 的 对 象 将 被 存储 在 桶 的 相同 可 用 区 域 。 用 户 创建 桶 的 方式 是 发 送 一 个 PUT 请 求 到 
http://s3.amazonaws.com/， 并 加 上 桶 的 名 称 和 其 他 信息 。 如 果 想 指定 可 用 区 ， 还 可 加 上 首选 
位 置信 息 。 通 过 发 送 指定 桶 名 称 的 GET 请 求 获 得 桶 内 容 的 列表 。 桶 一 旦 创建 ， 不 能 重 命 名 
或 迁移 。 如 果 有 必要 的 话 ， 只 能 删除 后 再 重新 创建 桶 。 通 过 DELETE 请 求 执行 删除 桶 ， 当 
且 仅 当 桶 为 空 时 ， 才 可 以 成 功 删 除 。 

(3) 对 象 和 元 数据 

对 象 构成 存储 在 S3 中 的 内 容 元 素 。 用 户 存储 文件 或 向 S3 发 送 文本 流 都 表示 对 象 内 容 。 
对 象 通过 存储 内 容 的 桶 内 的 唯一 名 称 进 行 标识 。 该 名 称 用 UTF-8 编码 ， 不 能 超过 1024 个 字 
节 ， 人 允许 使 用 几乎 任何 字符 。 由 于 桶 不 支持 伐 套 ， 所 以 甚至 允许 字符 作为 路 径 分 隔 符 。 这 实 
际 上 弥补 了 无 结构 化 的 文件 系统 的 缺憾 ， 因 为 可 以 通过 适当 命名 的 对 象 模拟 目录 。 

用 户 通 过 指定 对 象 名称 、 桶 名 称 、 内 容 及 其 他 属性 的 PUT 请 求 创建 一 个 对 象 。 一 个 对 
象 的 最 大 容量 为 SGB。 一 旦 对 象 创建 ， 不 能 被 修改 、 重 命名 或 移动 到 另 一 个 桶 。 可 以 通过 
GET 请 求 检 索 对 象 ， 通 过 DELETE 请 求 删 除 对 象 。 

对 象 可 以 用 元 数据 标记 ， 通 过 PUT 请 求 的 属性 传递 。 该 属性 通过 GET 请 求 或 HEAD 
请 求 来 检索 ， 检 索 结果 只 返回 该 对 象 的 元 数据 而 无 内 容 。 元 数据 由 系统 和 用 户 定义 。S3 使 
用 系统 定义 的 元 数据 控制 与 对 象 的 交互 ， 用 户 定义 的 元 数据 对 用 户 更 有 意义 ， 每 个 元 数据 属 
性 可 以 存储 2KB 数据 ， 属 性 表示 为 键 - 值 对 的 字符 串 。 

(4) 访问 控制 和 安全 性 

We ith S3 通过 访问 控制 策略 ACP) 访问 桶 和 对 象 。ACP 是 一 组 授予 权限 ， 连 接 到 一 
个 由 XML 配置 文件 表示 的 资源 。 一 个 策略 允许 定义 多 达 100 个 访问 规则 ， 每 个 规则 可 以 授 
权 给 允许 授权 者 。 目 前 ， 有 五 种 可 用 的 不 同 权 限 ， 
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诈 。 人 允许 被 授权 者 检索 一 个 对 象 的 内 容 及 其 元 数据 ， 列 出 桶 的 内 容 ， 获 取 其 元 数据 。 
与 。 人 允许 被 授权 者 将 对 象 添加 到 一 个 桶 并 进行 修改 和 删除 。 

读 访 问 控制 策 咯 。 允 许 被 授权 者 读 资 源 的 访问 控制 策略 。 

与 访问 控制 策略 。 人 允许 被 授权 者 修改 资源 的 访问 控制 策略 。 

完全 控制 。 授 予 上 述 所 有 权限 。 

被 授权 者 可 以 是 单个 用 户 或 组 。 通 过 在 S3 注册 时 的 规范 的 ID 或 电子 邮件 地 址 来 识别 用 
户 。 对 于 组 而 言 ， 只 有 三 个 可 能 的 选项 : 所 有 用 户 、 身 份 验 证 的 用 户 和 日 志 传 送 用 户 9。 

资源 一 旦 创建 ，S3 只 能 将 默认 ACP 授予 具有 完全 控制 权限 的 主人 。 通 过 使 用 资源 的 
URI 请 求 时 加 上 “?acl” 可 以 改变 ACP, GET 方法 可 以 检索 ACP，PUT 方法 上 传 一 个 新 的 
ACP 来 取代 现 有 的 ACP。 或 者 ， 当 创建 资源 时 可 以 使 用 预定 义 的 一 组 名 为 钠 装 策略 的 权限 
设置 ACP。 这 些 策略 是 S3 资源 最 常见 的 访问 模式 。 

ACP 提供 一 套 强 大 的 规则 来 控制 $3 用 户 对 资源 的 访问 ， 但 非 验证 用 户 不 能 详细 区 分 ， 
他 们 被 视 为 一 组 。 这 种 情况 下 ， 为 了 提供 更 细 粒 度 的 区 分 ，S3 允许 定义 签名 的 URI， 提 供 
一 个 临时 的 访问 令 牌 授权 在 有 限 的 时 间 内 的 所 有 资源 访问 请 求 。 

(5) RAH AE 

be A. TRA ACP 的 管理 ，S3 还 提供 了 其 他 有 用 的 附加 功能 ， 包 括 服务 器 访问 日 志 
和 集成 比特 流 (BitTorrent) 文件 共享 网 络 。 

服务 希 访 问 且 志 让 桶 所 有 者 获得 有 关 桶 及 其 所 有 包含 对 象 所 提出 的 请 求 的 详细 信息 。 默 
认 情 况 下 ， 此 功能 处 于 关闭 状态 ; 在 要 激活 ， 需 要 发 出 一 个 后 接 “?logging” 的 PUT 请 求 
到 桶 的 URI。 该 请 求 应 包含 一 个 指定 目标 桶 的 XML 文件 ， XML 文件 中 保存 日 志文 件 和 文 
件 名 前 级 。 到 同一 个 URI 的 GET 请 求 可 以 让 用 户 检 索 桶 中 现 有 的 日 志 配 置 。 

第 二 个 有 趣 的 功能 是 可 以 把 S3 对 象 公 开 到 比特 流 网 ， 从 而 允许 使 用 BitTorrent 协议 下 
载 存 储 在 S3 中 的 文件 ， 方法 是 在 S3 对 象 的 URI 后 附加 “? torrent”。 要 实际 下 载 对 象 ， 它 
的 ACP 必须 授予 每 个 人 该 权限 。 

2. 亚马逊 弹性 块 存 储 

亚马逊 弹性 块 存储 (EBS) 允许 AWS 用 户 提供 EC2 实例 ， 以 卷 的 形式 持久 存储 ， 在 实 
例 启 动 时 安装 卷 。EBS 可 为 实例 提供 高 达 1 TB 的 空间 ， 并 通过 一 个 块 设备 接口 进行 访问 ， 
从 而 使 用 户 能 够 根据 它们 连接 的 (原始 存储 、 文 件 系 统 或 其 他 ) 实例 的 需要 对 其 进行 格式 化 。 
EBS 卷 的 内 容 伴随 着 实例 的 生命 周期 ， 并 一 直 持 续 到 S3。EBS 卷 可 以 被 克隆 ， 用 作 引 时 分 
区 ， 并 构成 持久 存储 ， 因 为 它们 依赖 于 S3， 并 且 内 容 可 以 进行 增 量 快照 。 

EBS 卷 通常 存储 在 EC2 实例 的 同一 可 用 性 区 域内 ， 这 将 利用 它们 的 最 大 化 IO 性 能 。 
另外 ， 也 可 以 连接 位 于 不 同 可 用 区 的 卷 。 一 旦 安装 为 卷 ， 其 内 容 根据 操作 系统 的 要 求 在 后 人 台 
延迟 加 载 。 这 降低 了 进入 网 络 的 1/ O 请 求 的 数量 。 卷 的 镜像 不 能 在 实例 之 间 共 享 ， 但 可 以 从 
镜像 创建 多 个 (独立 的 ) 活动 卷 。 此 外 ， 可 以 将 多 个 卷 连接 到 单个 实例 或 从 一 个 给 定 的 快照 
建立 卷 ， 如 果 格 式 化 文件 系统 允许 ， 还 可 以 修改 卷 的 大 小 。 

卷 的 相关 费用 包括 在 S3 中 所 占 的 存储 量 和 对 卷 执行 IO 请 求 的 数量 所 产生 的 成 本 。 目 
前 ， 亚 马 逊 的 收费 标准 是 : 对 分 配 的 存储 空间 ，0.10 美元 /GB/ 月; 对 卷 ， 每 1 万 个 请 求 0.10 


美元 。 


O 这 里 ， 组 标识 一 个 特定 的 组 帐户 ， 自 动 处 理 执行 桶 的 访问 日 志 。 
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3. 亚马逊 弹性 缓存 
弹性 缓存 实现 了 一 种 基于 EC2 实例 的 集群 弹性 内 存 缓存 。 通 过 Memcached 兼容 协议 ， 
可 从 其 他 EC2 实例 实现 快速 数据 访问 ， 因 此 ， 基 于 这 种 技术 的 现 有 应 用 程序 无 需 修改 就 可 
透明 地 迁移 到 弹性 缓存 。 
弹性 缓存 是 基于 运行 缓存 软件 的 EC2 实例 的 集群 ， 通 过 Web 服务 提供 。 一 个 弹性 缓存 
集群 可 以 根据 客户 端 应 用 程序 的 需求 进行 动态 调整 。 此 外 ， 自 动 补丁 管理 、 故 障 检测 和 缓存 
节点 的 恢复 等 功能 支持 缓存 集群 持续 运行 ， 而 无 需 AWS 用 户 的 管理 。 仅 当 需 要 的 时 候 ， 用 
户 才 弹性 地 改变 群集 大 小 。 弹 性 缓存 节点 根据 EC2 的 成 本 核算 模式 定价 ， 由 于 使 用 安 小 此 
实例 的 缓存 服务 不 同 ， 因 此 会 有 一 点 小 的 价格 差异 。 不 同类 型 的 实例 可 供用 户 选 择 ， 表 9-3 
给 出 了 这 些 实例 和 定价 。 
K 9-3 显示 的 价格 是 在 2011 ~ 2012 年 期 间 亚马逊 的 产品 价格 ， 内 存 的 容量 表示 考虑 系 
统 软 件 开销 后 的 可 用 内 存 。 
表 9-3 ”亚马逊 EC2 (RS) 缓冲 实例 特征 ( 2011 一 2012) 
i (ae, RETA 


“men T 


akmes [mmaa | tx329 | crv | 33808 | 高 [sia 
TOEL 30.76 


4. 结构 化 存储 解决 方案 

企业 应 用 程序 往往 依赖 于 数据 库 来 存储 结构 化 数据 、 索 引 数 据 ， 并 对 其 执行 分 析 。 即 
使 最 近 已 提出 了 更 具 扩展 性 和 轻 量 级 解决 方案 ， 传 统 上 ，RDBMS 一 直 是 大 量 应 用 程序 通用 
的 后 台数 据 。 亚 马 逊 提供 了 三 种 不 同形 式 的 结构 化 存储 服务 的 应 用 程序 : 预先 配置 的 EC2 
AMI， 亚 马 逊 关系 型 数据 存储 和 亚马逊 简单 数据 库 。 

(1) 预先 配置 的 EC2 AMI 

预先 配置 的 EC2 AMI 是 预定 义 的 模板 ， 特 征 是 安装 一 个 指定 的 数据 库 管理 系统 。 从 
这 些 AMI 创建 的 EC2 实例 可 通过 持久 存储 的 EBS 卷 来 完成 。 可 用 的 AMI 包括 IBM DB2、 
Microsoft SQL Server, MySQL, Oracle, PostgreSQL, Sybase 和 Vertica。 实 例 根 据 EC2 的 
成 本 模式 按 小 时 定价 。 该 解决 方案 给 EC2 用 户 增加 了 管理 负担 ， 必 须 自 己 配置 、 维 护 和 管 
理 关 系数 据 库 ， 但 提供 了 最 多 种 产品 以 供 选 择 。 

(2) 亚马逊 RDS 

RDS 和 是 关系 数据 库 服务 ， 依 赖 于 EC2 基础 设施 ， 由 Amazon.Developers 管理 ， 用 户 不 
必 担 心 配置 高 可 用 性 的 存储 、 设 计 故 障 切 换 的 策略 或 更 新 具有 最 新 补丁 的 服务 器 。 此 外 ， 该 
服务 为 用 户 提供 了 自动 备份 、 快 照 、 时 间 点 恢复 以 及 执行 复制 的 能 力 。 通 过 AWS 控制 台 或 
一 个 特定 的 Web 服务 ， 这 些 服 务 和 常见 的 数据 库 管 理 服务 都 可 用 。 有 两 个 关系 数据 库 引 擎 
可 供 选 择 ; MySQL 和 Oracle 。 

RDS 的 两 个 关键 的 高 级 功能 是 multi-AZ 部 署 和 读 副 本 。 第 一 个 功能 为 用 户 提供 了 
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RDBMS 解决 方案 的 故障 转移 的 基础 设施 。 高 可 用 性 解决 方案 是 : 一 旦 主 服 务 停 止 运行 ， 就 
激活 在 不 同 可 用 地 区 服务 的 同步 备用 副本 。 第 二 个 功能 针对 那些 严重 依赖 于 数据 库 读 取 的 应 
用 程序 ， 为 用 户 提供 了 更 高 的 性 能 。 在 这 种 情况 下 ， 亚 马 逊 部 署 主 服 务 副 本 ， 它 仅 可 用 于 数 
据 库 中 该 取 ， 从 而 减少 了 服务 的 响应 时 间 。 

K 9-4 给 出 了 2011 ~ 2012 年 期 间 两 个 高 级 功能 的 服务 价格 ， 以 及 按 需 实例 的 成 本 细 
万 。 也 可 以 通过 在 打折 时 提前 文 付 来 使 用 长 期 预 留 (一 至 三 年 ) 的 实例 。 

R 9-4 亚马逊 EC2 (HB) 实例 特征 ( 2011 ~ 2012 ) 
iri (RRR, BAT NE) 

me so. 
EKE | sdx2 | 64bit | 15GB | 高 | 
四 信 大 型 “| 268x325) | 64bit | 68GB | 高 | $2.60 

相对 于 以 前 的 解决 方案 ， 用 户 不 需 负 责 管理 、 配 置 和 维护 数据 库 管 理 软件 ， 这 些 操作 都 
是 通过 AWS 执行 的 。 另 外 ，RDS 还 简化 了 对 服务 需 弹 性 管理 的 支持 。 因 此 ， 对 基于 Oracle 
和 MySQL 引擎 的 应 用 程序 迁移 到 AWS 的 基础 设施 ， 且 需要 一 个 可 扩展 的 数据 库 解 决 方案 
的 情况 ， 该 方案 是 最 佳 解 决 方案 。 

(3 ) 亚马逊 简单 数据 库 

亚马逊 简单 数据 库 用 于 数据 不 需要 完全 关系 模型 的 应 用 程序 ， 是 一 种 轻 量 级 的 、 高 度 
可 扩展 的 、 灵 活 的 数据 存储 解决 方案 。 简 单数 据 库 支持 半 结 构 化 数据 ， 基 于 域 、 项 和 属性 
的 概念 。 与 关系 模型 相 比 ， 该 模型 对 输入 数据 的 结构 限制 较 少 ， 在 查询 大 量 数据 方面 具有 
较 高 性 能 。 而 亚 马 RDS 服务 对 AWS 用 户 的 数据 存储 无 需 进行 配置 、 管 理 和 高 可 用 性 
Wit. 

简单 数据 库 使 用 域 作为 顶层 元 素来 组 织 数据 存储 ， 这 些 域 大 致 相当 于 关系 模型 中 的 表 。 
但 与 表 不 同 ， 域 允许 项 具有 不 同 的 列 结构 ， 因 此 ， 每 个 项 表示 为 一 个 键 - 值 对 属性 的 集合 。 
每 个 域 都 可 以 增 至 10 GB 数据 ， 默 认 情 况 下 单个 用 户 可 以 分 配 到 最 多 250 个 域 。 客 户 端 可 
以 创建 、 删 除 、 修 改 、 并 进行 域 的 快照 ， 可 以 插入 、 修 改 、 删 除 和 查询 项 和 属性 ， 也 支持 批 
量 插入 和 删除 操作 。 查 询 数 据 功能 是 该 模型 最 重要 的 功能 之 一 ， 而 select 子 句 支持 以 下 测试 
操 作 符 : =, l=, <, >, <=, >=, like, not like, between, is null, is not null 和 every( )。 
下 面 是 关于 如 何 查询 数据 的 简单 例子 : 

select from domain name where every(attribute_name)= ‘value ’ 

此 外 ，select 操作 符 可 以 超出 单个 域 的 边界 查询 ， 从 而 使 用 户 能 够 有 效 地 查询 大 量 数据 。 

为 了 有 效 地 为 AWS 用 户 提供 可 扩展 性 和 容错 服务 ， 简 单数 据 库 中 实现 了 一 个 宽松 的 约 
束 模型 ， 从 而 产生 最 终 一 致 的 数据 。 最 终 一 致 是 指 非常 短 时 间 内 对 同一 数据 的 多 个 访问 可 能 
读 取 的 值 不 相同 ， 但 经 过 一 段 时 间 最 终 会 相同 。 这 是 因为 简单 数据 库 在 一 次 更 新 期 间 ， 数 
据 在 后 台 传 播 ， 且 不 锁定 数据 的 所 有 副本 。 因 此 ， 存 在 一 个 短暂 期 间 ， 在 不 同 的 客户 疹 可 以 
访问 具有 相同 数据 不 同 值 的 不 同 副本 。 这 种 做 法 具有 很 强 的 可 伸缩 性 ， 只 有 轻微 缺陷 ， 但 也 
是 合理 的 ， 因 为 SimpleDB 应 用 方案 的 主要 特点 是 数据 查询 和 索引 操作 。 也 可 以 改变 默认 人 情 
况 ， 并 确保 在 更 新 过 程 中 锁定 所 有 读 取 操作 。 


$0.88 
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尽管 简单 数据 库 不 是 一 个 事物 模型 ， 但 它 允 许 客户 端 表示 有 条 件 的 插入 或 删除 ， 当 有 多 
个 写 信 时， 可 以 防止 丢失 更 新 。 此 时 ， 当 且 仅 当 条 件 验证 有 效 时 才 会 执行 该 操作 。 这 种 情况 
可 以 用 来 检查 项 的 属性 的 预先 存在 的 值 。 

表 9-5 给 出 了 2011 ~ 2012 年 间 简 单数 据 库 服务 的 数据 传输 定价 方案 。 无 论 是 数据 传 
输 服 务 还 是 存储 数据 服务 都 需要 收费 , 但 AWS 网 络 中 的 数据 传输 是 不 收取 费用 的 。 此 外 ， 
对 用 户 的 使 用 机 器 也 要 收费 。 每 月 的 前 25 个 简单 数据 库 实 例 是 免费 的 ， 之 后 ， 按 小 时 收费 
(在 美国 东部 地 区 每 小 时 0.140 美元 )。 

表 9-5 亚马逊 简单 数据 库 的 数据 传输 费用 ( 2011 ~ 2012) 


实例 类 型 价格 (美国 东部 , 美元 ) | | 实例 类 型 价格 (美国 东部 ， 美 元 ) 


50.050 
a | E 特殊 设 定 

RE 特殊 设 证 
UL。 | 


如 果 将 这 个 成 本 模式 与 一 个 典型 的 S3 作 比 较 ， 很 明显 S3 用 于 存储 大 对 和 象 更 便宜 。 这 有 
助 于 区 分 简单 数据 库 和 S3 的 本 质 : 前 者 适合 小 对 象 的 半 结 构 化 数据 快速 访问 ， 而 不 是 用 于 
大 对 象 的 长 期 存储 。 

5. 亚马逊 CloudFront 

CloudFront 在 亚马逊 分 布 式 存储 基础 设施 之 上 实现 内 容 交 付 网 络 。 它 按照 一 定 策略 利用 
位 于 全 球 范围 的 边界 服务 器 集合 ， 更 好 地 满足 静态 和 流 媒体 网 页 内 容 请 求 ， 尽 可 能 地 减少 传 
输 时 间 。 

AWS 为 用 户 提 供 简单 的 Web 服务 API 来 管理 CloudFront。 为 了 实现 CloudFront 内 容 的 
可 用 性 ， 需 要 创建 一 个 分 发 来 标识 原始 服务 器 ， 其 中 包含 正在 分 发 内 容 的 原始 版 本 ， 它 由 一 
个 DNS 域 下 的 Cloudfront.net 域名 ( 即 my-distribution.Cloudfront.net) 表示 。 另 外 ， 也 可 以 
给 定 分 发 一 个 域名 。 一 旦 创建 了 分 发 ， 就 可 以 确定 分 发 名 称 ，CloudFront 引擎 将 请 求 重 定向 
到 最 近 的 副本 ， 如 果 已 选 定 的 边界 服务 器 上 的 内 容 没 有 找到 或 已 过 期 ， 最 终 将 从 源 服务 器 上 
下 载 原始 版 本 。 

通过 CloudFront 交付 的 内 容 是 静态 的 (HTTP 和 HTTPS) 或 流 (实时 消息 协议 或 
RMTP)。 托 管 分 发 内 容 的 原始 副本 的 源 服务 器 可 以 是 一 个 S3 的 桶 、 一 个 EC2 实例 或 一 个 亚 
马 逊 网 络 外 部 的 服务 器 。 用 户 可 以 限制 只 有 一 个 或 几 个 可 用 的 协议 访问 分 发 ， 也 可 以 设置 访 
问 规则 进行 更 精细 的 控制 。 还 可 以 从 分 配 中 删除 无 效 内 容 或 在 过 期 之 前 迫使 其 更 新 。 

表 9-6 提供 了 2011 ~ 2012 年 期 间 的 价格 细 目 。 请 注意 ，CloudFront 比 S3 便宜 。 这 反 
映 了 其 用 途 的 不 同 : CloudFront 用 来 优化 经 常 下 载 的 、 非 常 流行 的 内 容 分 发 ， 不 仅 是 从 亚 马 
逊 网 络 ， 还 有 可 能 从 全 球 网 络 下 载 。 


表 9-6 ”亚马逊 CloudFront 按 需 价格 ( 2011 一 2012) 















$0.0160 
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( 续 ) 
定价 项 目 南美 


9.1.3 通信 和 服务 


Amazon 提供 设施 来 组 织 和 促进 AWS 基础 架构 中 现 有 的 应 用 程序 和 服务 之 间 的 通信 。 
这 些 设 施 可 以 分 为 两 大 类 : 虚拟 网 络 和 消息 。 

1. 虚拟 网 络 

虚拟 网 络 由 一 组 服务 组 成 ， 人 允许 AWS 用 户 控 制 计算 和 存储 服务 以 及 它们 之 间 的 连通 
性 。 在 基础 设施 方面 ， 亚 马 逊 虚拟 网 络 (VPC) 和 亚马逊 直接 连接 提供 连接 解决 方案 ，Route 
53 在 命名 方面 使 连接 更 容易 。 

亚马逊 VPC 提供 了 很 大 的 灵活 性 ， 可 在 其 基础 设施 内 部 和 外 部 创建 虚拟 专用 网 络 。 服 
务 供应 商 设 计 了 大 部 分 常用 网 络 场景 的 模板 ， 或 者 配置 一 个 完全 可 定制 的 网 络 服务 。 设 计 的 
模板 包括 公共 子 网 、 独 立 网 络 、 通 过 网 络 地 址 转换 (NAT) 接 人 因特网 的 专用 网 络 ， 以 及 包 
& AWS 资源 和 私有 资源 的 混合 网 络 。 还 可 通过 使 用 身份 访问 管理 (IAM) 服务 控制 不 同 的 
服务 ( EC2 实例 和 S3 桶 ) 之 间 的 连通 性 。2011 Æ, Ww VPC 的 成 本 是 每 小 时 连接 0.50 
美元 。 

亚马逊 直接 连接 允许 AWS 用 户 创建 在 用 户 私 网 和 亚马逊 直接 连接 位 置 之 间 的 称 为 端口 
的 专用 网 络 。 这 种 连接 可 以 进一步 分 割 多 个 逻辑 连接 ， 并 提供 访问 Amazon 基础 设施 的 公共 
资源 。 采 用 直接 连接 相 比 其 他 解决 方案 的 优点 是 用 户 位 置 和 直 连 位 置 之 间 的 连接 的 一 致 性 
能 。 该 服务 与 EC2 、S3 和 亚马逊 VPC 等 其 他 服务 兼容 ， 可 以 在 亚马逊 网 络 与 外 部 世界 之 间 
需要 高 带宽 的 情况 下 使 用 。 美 国 只 有 两 个 可 用 端口 ， 但 用 户 可 以 利用 外 部 供应 商 提供 的 高 市 
宽 端 口 。 有 两 种 不 同 的 带宽 可 以 选择 : 1Gbps， 售 价 为 每 小 时 0.30 美元 ; 10Gbps， 售 价 为 每 
小 时 2.25 美元 。 人 站 流量 是 免费 的 ， 对 外 输出 流量 的 售 价 为 每 GB 0.02 美元 。 

亚马逊 Route 53 实现 动态 域名 解析 服务 ， 人 允许 通过 不 同 于 amazon.com 域 的 域名 来 获取 
AWS 资源 。 利 用 亚马逊 DNS 服务 器 的 大 型 全 球 分 布 式 网 络 ，AWS 用 户 可 以 公开 EC2 实例 
或 S3 存储 桶 作为 其 属性 域内 的 资源 ， 为 此 ， 亚 马 逊 DNS 服务 器 成 为 权威 ” 。EC2 实例 很 可 
能 比 物理 机 器 更 加 动态 ，S3 桶 也 可 能 只 在 有 限 的 时 间 内 存在 。 为 了 处 理 这 种 不 稳定 性 ， 当 
在 EC2 上 启动 实例 或 在 新 桶 中 创建 S3 时 ， 该 服务 使 得 AWS 用 户 将 名 称 动态 映射 到 资源 。 


O DNS 服务 器 负责 解析 名 称 和 对 应 的 IP 地 址 。 由 于 DNS 服务 器 实现 分 布 式 数据 库 ， 所 以 没有 一 个 单一 的 全 局 
控制 ， 单 个 DNS 服务 器 没有 域名 和 IP 地 址 之 间 的 所 有 映射 ， 但 它 有 其 中 的 一 小 部 分 直接 映射 。 因 此 ， 这 样 
的 DNS 服务 器 对 这 些 域名 来 说 是 权威 ， 因 为 它 可 以 直接 解析 域名 。 解析 其 他 的 域名 则 需要 联系 最 近 的 权威 
DNS。 


[329] 


240 BaD 工业 云 联 台 与 新 进展 


通过 与 Route 53Web 服务 进行 交互 ， 用 户 可 以 管理 一 组 托管 区 ， 它 表明 用 户 域 由 服务 控制 ， 
然后 通过 它 编辑 资源 。 目 前 ， 单 个 用 户 最 多 可 以 有 100 个 区 。 成 本 核算 模型 包括 一 个 固定 金 
额 (每 月 每 区 1 美元 ) 和 按 托管 机 处 理 查 询 的 数量 计 费 的 动态 组 件 (一 个 月 中 ， 前 十 亿 的 查 
询 0.50 美元 每 万 次 ， 超 过 十 亿 的 查询 ， 每 亿 查 询 0.25 美元 )。 

2. 消息 

消息 服务 构成 了 利用 AWS 功能 连接 应 用 程序 的 下 一 步 。 三 种 不 同类 型 的 消息 服务 是 亚 
马 逊 简单 队列 服务 (SQS)， 亚 马 示 简单 通知 服务 (SNS) 和 亚马逊 简单 电子 邮件 服务 (SES). 

亚马逊 SQS 是 非 连接 模型 ， 通 过 消息 队列 的 方式 在 应 用 程序 之 间 交 换 消 息 ，SQS 是 在 
AWS 基础 设施 中 提供 的 功能 。 使 用 AWS 控制 面板 或 直接 使 用 底层 的 Web 服务 AWS, HP 
可 以 创建 无 限 数量 的 消息 队列 ， 并 配置 它们 来 控制 访问 。 应 用 程序 可 以 将 消息 发 送 到 它们 
有 权 访 问 的 任何 队列 。 这 些 消息 在 有 限 的 一 段 时 间 内 安全 地 、 有 元 余地 存储 在 AWS 基础 设 
施 ， 可 以 通过 其 他 (授权 ) 的 应 用 程序 访问 来 访问 它们 。 当 一 个 消息 被 读 取 时 ， 它 将 保持 锁 
定 ， 以 避免 来 自 其 他 应 用 程序 的 恶意 处 理 , 设 定 的 时 间 结 束 后 将 自动 解锁 . 

亚马逊 SNS 提供 了 用 于 连接 异 构 应 用 程序 的 发 布 - 订阅 方法 。 亚马逊 SQS 必须 不 断 轮 
询 指定 的 队列 以 处 理 一 个 新 消息 ， 当 有 感 兴趣 的 新 内 容 时 ， 亚 马 还 SNS 会 通知 应 用 程序 . 
此 功能 可 以 通过 Web 服务 获取 ， 这 样 AWS 用 户 可 以 创建 一 个 其 他 应 用 程序 可 以 订阅 的 主 
题 。 无 论 何 时 ， 只 要 应 用 程序 就 一 个 给 定 的 主题 发 布 内 容 ， 订 阅 者 便 可 自动 接 到 通知 。 该 服 
务 为 订阅 者 提供 不 同 的 通知 模型 (HTTP/HTTPS、email/email JSON 和 SQS). 

亚马逊 SES 为 AWS 用 户 提 供 充 分 利用 AWS 基础 设施 的 可 扩展 的 电子 邮件 服务 一旦 
用 户 注册 了 这 项 服务 ， 他 们 必须 提供 一 个 电子 邮件 地 址 ，SES 用 来 发 送 代表 用 户 的 邮件 。 要 
激活 该 服务 ，SES 发 送 一 封 电子 邮件 ， 以 确认 给 定 的 地 址 并 为 用 户 提 供 必 要 的 激活 信息 。 一 
经 核实 ， 将 为 用 户 提供 一 个 SES 沙 箱 测试 服务 ， 用 户 可 以 请 求 访问 产品 版 本 。 使 用 SES, 
可 以 通过 指定 的 邮件 信 头 和 多 用 途 因特网 邮件 扩展 (MIME) 类 型 来 发 送 SMTP 兼容 的 电子 
邮件 或 原始 邮件 。 电 子 邮 件 排队 等 待 发 送 ， 若 失败 会 通知 用 户 。SES 还 提供 了 多 种 统计 数据 ， 
帮助 用 户 提高 与 客户 沟通 的 电子 邮件 活动 的 有 效 性 。 

关于 成 本 核算 ， 三 项 服务 都 不 要 求 最 低 保证 ， 但 都 是 基于 即 付 即 用 的 模式 。 目 前 对 用 户 
不 收费 ， 直 到 他 们 达到 一 个 最 低 门槛 。 此 外 ， 数 据 流 入 不 收费 ,但 数据 流出 按 范围 收费 。 


9.1.4 其 他 服务 


除了 计算 、 存 储 和 通信 服务 ，AWS 还 提供 一 系列 服务 允许 用 户 利用 聚合 的 服务 。 相 关 
的 两 个 服务 是 亚马逊 CloudWatch 和 亚 蕊 避 灵 活 支 付 服 务 (FPS). 

亚马逊 CloudWatch 提供 了 一 种 全 面 的 统计 数据 服务 ， 帮 助 开 发 人 员 理 解 和 优化 托管 在 
AWS 上 的 应 用 执行 。CloudWatch 从 EC2、S3 、 简 单数 据 库 CloudFront 等 几 个 AWS 服务 
收集 信息 。 开 发 人 员 使 用 CloudWatch 可 以 看 到 在 AWS 上 租用 的 服务 及 其 使 用 情况 的 详细 
分 析 ， 并 能 设计 出 更 高 效 和 节约 成 本 的 应 用 。CloudWatch 的 早期 服务 只 通过 认购 提供 ， 但 
现在 已 免费 提供 给 所 有 AWS 用 户 。 

亚马逊 FPS 的 基础 设施 允许 AWS 用 户 利用 亚马逊 的 计 费 设施 向 其 他 Aws 用 户 出 售 商 
mAs. PASM FPS ， 开 发 人 员 不 必 设 立 其 他 的 付款 方式 ， 可 以 通过 一 个 计 费 服务 
四 用户 收费 。 可 通过 FPS 的 支付 模式 ， 包 括 一 次 性 付款 、 延 迟 付款 、 定 期 付款 ， 通 过 签约 
和 基于 使 用 的 服务 ， 交 易 和 综合 多 种 支付 模式 。 
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9.1.5 总结 


亚马逊 利用 大 型 分 布 式 AWS 基础 架构 ， 提 供用 于 开发 、 部 署 、 管 理 云 计算 系统 的 
一 整套 服务 。 开 发 人 员 可 以 使 用 EC2 控制 和 配置 托管 在 云 上 的 计算 基础 设施 。 如 果 不 需 
要 完全 控制 计算 栈 ， 可 以 利用 其 他 服务 ， 如 AWS CloudFormatio, 、 弹 性 Beanstalk 或 弹性 
MapReduce, HESE AWS 云 的 应 用 程序 可 以 利用 S3、 简 单数 据 库 或 其 他 存储 服务 来 管理 结 
构 化 和 非 结 构 化 数据 。 这 些 服务 主要 用 于 存储 ， 其 他 服务 ， 如 亚马逊 SQS、SNS MISES, 为 
AWS 云 内 外 动态 连接 应 用 程序 提供 解决 方案 。 与 AWS 应 用 程序 的 网 络 连接 由 亚马逊 VPC 
和 亚马逊 直接 连接 处 理 ， 


9.2 谷歌 AppEngine 


谷歌 AppEngine 是 一 个 PaaS 的 实现 ， 为 开发 和 托管 可 扩展 的 Web 应 用 程序 提供 服务 。 
AppEngine 基本 上 是 一 个 分 布 式 和 可 扩展 的 运行 时 环境 。 它 利用 谷歌 的 分 布 式 基础 设施 扩展 
应 用 程序 ， 面 对 大 量 的 请 求 ， 通 过 分 配 更 多 的 计算 资源 来 平衡 它们 之 间 的 负载 。 运 行 时 由 一 
组 服务 完成 ， 让 开发 人 员 能 够 设计 和 实施 很 容易 在 AppEngine 上 扩展 的 应 用 程序 。 开 发 者 
可 以 使 用 Java, Python, Go 来 开发 应 用 程序 。Go 是 由 谷歌 公司 开发 的 简化 Web 应 用 程序 
开发 的 新 编程 语言 。 谷 歌 资源 的 使 用 和 服务 质量 由 AppEngine 度量 ， 在 用 户 的 应 用 程序 完 
成 免费 限额 之 后 回 他 们 收费 。 


9.2.1 架构 和 核心 概念 


AppEngine 是 一 个 开发 可 扩展 的 Web 访问 应 用 程序 的 平台 OLA 9-2 )。 该 平台 逻辑 上 
分 为 四 个 主要 部 分 : 基础 设施 ， 运 行 时 环境 ， 底层 存储 ， 以 及 一 套用 于 开发 可 扩展 应 用 程序 
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图 9-2 谷歌 AppEngine 平台 架构 


1. 基础 设施 
AppEngine 托管 Web 应 用 程序 ， 它 的 主要 功能 是 有 效 地 服务 用 户 请 求 。 要 做 到 这 一 点 ， 
AppEngine 的 基础 设施 利用 了 谷歌 数据 中 心 内 很 多 服务 器 的 可 用 优势 。 对 每 个 HTTP 请 求 ， 
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AppEngine 定位 托管 处 理 请 求 的 应 用 程序 的 服务 器 ， 评 估 其 负载 ， 如 果 需 要 ， 分 配额 外 的 资 
源 (如 服务 器 ) 或 重 定 向 请 求 到 现 有 服务 器 。 应 用 程序 的 特殊 设计 简化 了 基础 设施 的 工作 ， 
到 相同 的 应 用 程序 的 请 求 之 间 不 会 隐 式 地 维持 任何 状态 信息 ， 每 个 请 求 可 重 定向 到 任何 托管 
目标 应 用 程序 的 服务 器 ， 其 至 分 配 一 个 新 的 服务 名。 

基础 设施 还 负责 监控 应 用 程序 性 能 和 收集 账单 的 统计 信息 。 

2. 运行 时 环境 

运行 时 环境 表示 托管 在 AppEngine 上 的 应 用 程序 的 执行 上 下 文 。 参 照 AppEngine 上 的 
基础 设施 代码 ， 运 行 时 环境 始终 活跃 和 和 运行， 在 请 求 处理 程 序 开 始 执行 运行 时 就 存在 ， 处 理 
程序 完成 后 立即 终止 。 

(1) 沙 箱 

运行 时 环境 的 主要 职责 是 为 应 用 程序 提供 孤立 和 受 保 护 的 上 下 文 环 境 ， 执 行 时 不 会 对 服 
务 器 构成 威胁 ， 也 不 受 其 他 应 用 程序 的 影响 。 换 名 话说， 它 为 应 用 程序 提供 一 个 沙 箱 。 

目前 ，AppEngine 只 支持 管理 或 解释 型 语言 开发 的 应 用 程序 ， 要 求 运行 时 将 其 代码 翻译 
转换 成 可 执行 的 指令 。 因 此 ， 沙 箱 是 通过 禁用 一 些 通 常 默 认 实 现 的 共同 特征 ， 以 修改 应 用 程 
序 的 运行 时 来 实现 的 。 如 果 应 用 程序 试图 执行 任何 一 个 潜在 有 害 的 操作 ， 沙 箱 将 抛 出 异常 ， 
并 中 断 执行 。 沙 箱 不 允许 的 操作 包括 : 写 人 服务 器 文件 系统 ， 使 用 邮件 UrlFetch 和 XMPP 
以 外 的 方式 通过 网 络 访问 计算 机 ， 在 请 求 、 排 队 任务 cron 作业 范围 之 外 执行 代码 ， 处 理 时 
间 超 过 30 秒 的 请 求 。 

(2) 支持 运行 时 

目前 ， 开 发 AppEngine 上 的 应 用 可 以 使 用 三 种 不 同 的 语言 和 相关 技术 : Java, Python 
和 Go。 

AppEngine 目前 支持 Java 6， 开 发 人 员 可 以 使 用 常见 的 工具 在 Java 中 开发 Web 应 用 程 
序 ， 如 Java 服务 器 页 面 (JSP)， 以 及 使 用 Java Servlet 标准 的 环境 与 应 用 交互 。 此 外 ， 对 
AppEngine 的 访问 服务 是 由 Java 库 提供 的 ， 针 对 一 个 给 定 的 抽象 层 的 特定 提供 者 的 实现 ， 
Java 库 公 开 特 定 接口 。 开 发 人 员 可 以 通过 Java SDK 创建 AppEngine 上 的 应 用 程序 ，Java 
SDK 允许 使 用 Java 5 或 Java 6 开发 应 用 程序 ， 以 及 不 超过 该 沙 箱 限制 的 任何 Java 库 。 

对 Python 的 支持 由 一 个 优化 的 Python 2.5.2 解释 器 提供 。 同 Java 一 样 ， 运 行 时 环境 支 
FF Python 标准 库 ， 但 删除 了 有 些 可 能 执行 有 害 操作 的 模块 ， 并 且 在 试图 导入 这 样 的 模块 或 
调用 特定 的 方法 时 产生 异常 。 为 了 支持 应 用 程序 的 开发 ，AppEngine 提供 了 一 组 丰富 的 连接 
到 AppEngine 服务 的 应 用 程序 库 。 另 外 ， 开 发 人 员 可 以 使 用 一 个 特定 的 Python Web 应 用 框 
AB, PKA webapp, AET Web 应 用 程序 的 开发 。 

Go 运行 时 环境 允许 用 Go 编程 语言 开发 AppEngine 上 托管 和 运行 的 应 用 程序 。 目 
前 AppEngine 支 持 的 Go 版 本 是 r58.1。 该 SDK 包 括 编译 器 ， 以 及 在 Go 中 开发 应 用 和 
AppEngine 上 的 服务 接口 的 标准 库 。 与 Python 环境 一 样 ， 一 些 功能 已 删除 或 将 生成 运行 时 
异 币 。 此 外 ， 开 发 人 员 可 以 在 其 应 用 程序 中 包含 第 三 方 库 ， 只 要 它们 是 用 纯 Go 实现 的 。 

3. 存储 

AppEngine 提供 多 种 类 型 的 存储 ， 根 据 数据 的 波动 性 而 进行 不 同 的 操作 。 有 三 种 不 同 级 
别 的 存储 : 存储 器 缓存 ， 半 结构 化 数据 存储 和 静态 数据 长 期 存储 。 本 节 介 绍 数 据 存 储 和 静态 
文件 服务 器 的 使 用 ， 在 应 用 服务 部 分 涉及 存储 器 高 速 缓存 。 


(1) 静态 文件 服务 器 

Web 应 用 程序 由 动态 和 静态 数据 组 成 。 动 态 数据 是 应 用 程序 逻辑 与 用 户 交互 的 结果 。 和 甫 
态 数 据 大 多 是 构成 应 用 程序 的 图 形 设计 的 组 件 (如 CSS 文件 、 纯 HTML Xt, JavaScript X 
件 、 图 像 、 图 标 和 声音 文件 ) 或 数据 文件 。 这 些 文件 可 以 在 静态 文件 服务 器 托管 ， 因 为 它 
们 不 经 常 修改 。 这 种 服务 器 对 静态 内 容 服 务 进行 了 优化 ， 上 传 应 用 程序 到 AppEngine ER, 
用 户 可 以 指定 动态 内 容 应 提供 的 服务 。 

(2) 数据 存储 

数据 存储 是 允许 开发 者 存储 半 结 构 化 数据 的 服务 。 该 服务 旨 在 通过 扩展 和 优化 以 快速 访 
问 数 据 。 数 据 存 储 可 以 看 作 是 一 个 大 对 象 数据 库 ， 其 中 存储 能 够 由 指定 的 键 来 检索 的 对 象 。 
键 的 类 型 和 对 象 的 结构 可 以 变化 。 

对 于 一 个 由 关系 数据 库 支 持 的 传统 Web 应 用 程序 ， 数 据 存储 对 数据 规则 施加 较 少 约束 ， 
但 同时 ， 没 有 实现 一 些 关 系 模型 的 特征 (如 参照 约束 和 连接 操作 )。 经 过 认真 分 析 Web 应 用 
程序 数据 使 用 模式 ， 为 获得 更 大 的 可 扩展 性 和 高 效 的 数据 存储 ， 产 生 了 这 些 数 据 存储 的 设计 
决 各 :数据 存储 的 底层 基础 设施 基于 Bigtable[93] , Bigtable 是 元 余 的、 分 布 式 和 半 结 构 化 
的 数据 存储 ， 以 表 的 形式 组 织 数据 ( 见 8.2.1 节 )。 

数据 存储 提供 了 高 层次 的 抽象 ， 简 化 了 与 Bigtable 的 交互 。 开 发 者 通过 实体 和 属性 定义 
数据 ， 而 这 些 都 转化 成 Bigtable 里 的 表 来 存储 和 维护 。 一 个 实体 构成 存储 的 粒度 级 别 ， 并 
确定 定义 存储 数据 的 属性 的 集合 。 根 据 该 服务 支持 的 几 个 原始 类 型 中 的 一 种 定义 属性 。 每 
个 实体 关联 一 个 键 ， 由 用 户 提 供 或 由 AppEngine 自动 创建 。 每 个 实体 都 有 一 个 命名 类 型 ， 
AppEngine 用 其 通过 Bigtable 优化 检索 。 虽 然 实体 和 属性 看 起 来 类 似 于 SQL 的 行 和 表 ， 但 
还 是 有 一 些 差别 。 相 同 种 类 的 实体 可 能 有 不 同 的 属性 ， 并 且 具 有 相同 名 称 的 属性 可 能 包含 不 
同类 型 的 值 ， 属 性 可 以 存储 相同 值 的 不 同 版 本 。 最 后 ， 键 是 不 可 变 的 元 素 ， 一旦 建立 ， 就 不 
可 以 改变 。 

数据 存储 还 提供 了 在 数据 上 创建 索引 并 更 新 一 个 事务 上 下 文中 的 数据 的 功能 。 索 引用 于 
支持 和 加 快 查询 速度 。 查 询 可 以 返回 相同 类 型 的 零 个 或 多 个 对 象 或 简单 地 返回 对 应 的 键 。 它 
可 以 通过 指定 键 或 属性 值 条 件 来 查询 数据 存储 。 返 回 的 结果 集 可 以 通过 按键 值 或 属性 值 排 
序 。 尽 管 查询 非常 类 似 SQL 查询 ， 但 其 执行 有 本 质 不 同 。 数 据 存储 的 设计 可 极速 返回 结果 
集 ， 要 做 到 这 一 点 ， 需 要 事先 知道 对 给 定 类 型 的 所 有 可 能 的 查询 ， 因 为 每 个 查询 存储 单独 的 
索引 。 该 索引 是 上 传 应 用 程序 到 AppEngine 时 由 用 户 提供 的 ， 并 且 通 过 开发 服务 器 自动 定 
义 。 当 开发 者 测试 应 用 程序 时 ， 服 务 器 监控 所 有 不 同类 型 的 对 该 模拟 数据 存储 的 查询 ， 为 
它们 创建 一 个 索引 。 索 引 的 结构 保存 在 配置 文件 中 ， 开 发 者 上 传 应 用 程序 之 前 可 以 进一步 修 
改 。 利 用 预先 计算 的 索引 使 得 查询 执行 时 间 和 所 存储 的 数据 的 大 小 无 关 ， 仅 受 结果 集 的 大 小 
的 影响 。 

为 了 保持 存储 的 可 扩展 性 和 高 速 性 ， 事 务 的 实现 是 受 限 的 。AppEngine 确保 以 原子 方式 
执行 对 单一 实体 的 更 新 。 对 相同 实体 的 多 个 操作 可 以 在 事务 的 范围 内 进行 。 也 能 以 原子 方式 
更 新 多 个 实体 ,但 仅 当 这 些 实体 属于 同一 个 实体 组 。 实 体 创建 时 指定 实体 所 属 的 实体 组 ， 且 
不 能 更 改 。 关 于 并 发 ，AppEngine 上 使 用 了 乐观 并 发 控制 : 如 果 用 户 尝 试 更 新 一 个 已 经 被 更 
新 的 实体 ， 那 么 控制 返回 且 操 作 失 败 。 检 索 实体 不 会 导致 异常 。 

4. 应 用 服务 

托管 在 AppEngine 上 的 应 用 程序 可 以 充分 利用 运行 时 环境 所 提供 的 服务 。 这 些 服务 简 
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化 了 在 Web 应 用 程序 执行 的 大 多 数 普通 操作 : 获取 数据 、 账 户 管理 、 外 部 资源 整合 、 信 息 
和 通信 、 图 像 处 理 和 异步 计算 。 

(1) UrlFetch 

Web 2.0 已 经 推出 组 合 Web 应 用 的 概念 。 把 不 同 的 资源 放 在 一 起 ， 并 组 织 成 一 个 单一 
Web 页 面 中 的 网 格 。 网 格 是 以 不 同方 式 产生 的 HTML 片段 ， 它 们 可 以 从 远程 服务 关中 下 接 
得 到 ,或 者 从 Web 服务 中 检索 XML 文档 得 到 ,或 者 可 以 由 浏览 器 的 舱 入 及 远程 组 件 得 到 . 
所 有 这 些 例子 的 共同 特点 是 该 资源 不 在 本 地 服务 器 ， 甚 至 不 在 同一 管理 域 。 因 此 ， 这 和 是 Web 
应 用 程序 检索 远程 资源 的 基础 。 

沙 箱 环境 不 允许 应 用 程序 通过 套 接 字 打开 任意 多 个 连接 ， 但 它 确实 为 开发 人 员 提 供 通 
过 HTTP/HTTPS 以 UrlFetch 服务 方式 获取 远程 资源 的 能 力 。 应 用 程序 可 以 进行 同步 和 弄 步 
Web 请 求 ， 并 将 通过 这 种 方式 获得 的 资源 集成 到 应 用 程序 中 的 正 稼 请 求 处理 周 期 。UrlFetch 
有 趣 的 功能 之 一 是 可 以 设 定 请 求 的 最 后 期 限 ， 使 其 在 给 定 的 时 间 内 完成 (或 中 止 )。 此 外 ， 
执行 这 种 异步 请 求 允 许 应 用 程序 继续 执行 ， 而 在 后 台 检 索 资 源 。UrlFetch 不 仅 用 于 将 网 格 集 
成 到 Web 页 面 ， 还 能 根据 分 布 式 应 用 程序 的 SOA 参考 模型 利用 远程 Web 服务 。 

(2) 存储 器 高 速 缓存 

AppEngine 的 数据 存储 为 开发 人 员 提 供 访 问 快速 且 可 徘 的 存储 服务 。 尽 管 如 此 ， 该 服务 
的 主要 目的 是 作为 一 个 可 伸缩 的 和 长 期 的 存储 器 ， 其 中 的 数据 被 元 余地 保存 到 磁盘 ， 以 确保 
出 现 故障 时 数据 的 可 笔 性 和 可 用 性 。 对 比 其 他 解决 方案 ， 特 别 是 频繁 访问 的 对 象 ， 如 每 一 个 
页 面 请 求 ， 本 设计 限制 了 存储 速度 。 

AppEngine 通过 存储 天 高 速 缓存 提供 缓存 服务 。 这 是 一 个 分 布 式 内 存 缓存 ， 经 过 了 优化 
以 便 快 速 访问 ， 针 对 频繁 访问 对 象 ， 为 开发 人 员 提供 一 个 易 失 性 存储 器 。 存 储 器 高 速 缓存 中 
实现 的 缓存 算法 将 自动 删除 那些 很 少 访问 的 对 象 。 使 用 存储 器 高 速 缓存 可 以 显著 地 减少 数据 
访问 的 时 间 。 开 发 人 员 可 以 构建 自己 的 应 用 程序 ， 首 先 在 存储 器 高 速 缓存 中 查找 每 个 对 象 ， 
如 果 没 找到 ， 将 从 数据 存储 中 检索 并 放 人 缓存 中 以 备 将 来 查询 。 

(3 ) 邮件 和 即时 消息 

通信 是 Web 应 用 程序 的 另 一 个 重要 方面 。 通 常 使 用 电子 邮件 跟 进 用 户 有 关 应 用 程序 
执行 的 操作 。 电 子 邮 件 也 可 以 用 来 触发 Web 应 用 程序 的 活动 。 为 了 促进 这 些 任 务 的 执行 ， 
AppEngine 为 开发 者 提供 通过 邮件 来 发 送 和 接收 邮件 的 能 力 。 该 服务 允许 代表 应 用 程序 发 送 
电子 邮件 给 特定 的 用 户 账户 。 它 也 可 能 包括 几 种 附件 类 型 和 针对 多 个 接收 者 。 邮 件 以 异步 方 
式 运 行 ， 一 旦 交付 失败 ， 可 通过 电子 邮件 将 详细 的 错误 通知 给 发 送 地 址 。 

AppEngine 还 提供 了 男 一 种 与 外 部 世界 通信 的 方式 : 可 扩展 通信 和 表示 协议 (XMPP), 
任何 支持 XMPP 的 聊天 服务 (如 Google Talk) 都 可 以 从 Web 应 用 程序 发 送 和 接收 聊天 消息 ， 
并 用 自己 的 地 址 标识 。 尽 管 聊天 主要 是 用 于 人 工交 互 的 通信 介质 ， 但 XMPP 还 可 以 方便 地 
用 于 连接 Web 应 用 程序 与 聊天 机 器 人 ， 或 实现 一 个 小 型 管理 控制 面板 。 

(4) 账户 管理 

Web 应 用 程序 通常 保存 与 用 户 交 互 定制 的 各 种 数据 ， 这 些 数据 通常 在 用 户 配 置 文件 中 并 
连接 到 一 个 账户 。AppEngine 简化 了 账户 管理 ， 人 允许 开发 者 利用 谷歌 账户 进行 管理 。 与 服务 
的 集成 还 允许 Web 应 用 程序 将 认证 功能 的 实施 转移 到 Google 认证 系统 。 

使 用 谷歌 账户 ，Web 应 用 程序 可 以 方便 地 以 键 - 值 对 的 形式 存储 配置 文件 设置 ， 将 它 
们 附加 到 一 个 给 定 的 谷歌 账户 ， 一 旦 用 户 进行 身份 验证 便 可 迅速 检索 。 对 于 自 定义 解决 方 
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案 ， 使 用 谷歌 账户 管理 的 用 户 只 需要 有 一 个 谷歌 账号 ， 不 需要 任何 其 他 操作 。 在 谷歌 App 
的 企业 环境 中 ， 使 用 谷歌 账户 开发 Web 应 用 尤其 有 利 。 在 这 种 情况 下 ， 应 用 程序 易于 与 其 
他 所 包含 在 谷歌 App 中 的 服务 (和 配置 文件 设置 ) 集成 。 

(5) 图 像 处 理 

Web 应 用 程序 用 图 形 演 染 页 面 。 用 户 往往 需要 一 些 简单 的 操作 ， 如 添加 水 印 或 使 用 简单 
的 过 滤器 。AppEngine 允许 应 用 程序 通过 图 像 处 理 进行 图 像 缩 放 、 旋 转 、 镜 像 和 增强 ， 其 他 
谷歌 产品 也 使 用 此 服务 。 图 像 处 理 主 要 处 理 轻 量 级 图 像 ， 并 且 提 高 了 速度 。 

5. 计算 服务 

Web 应 用 程序 大 多 通过 无 所 存在 的 Web 页 面 来 实现 用 户 应 用 程序 界面 。 大 部 分 交互 是 
同步 进行 的 ， 用 户 浏览 网 页 ， 并 得 到 响应 他 们 行动 的 即时 反馈 。 这 种 反馈 往往 是 一 些 Web 
应 用 程序 计算 的 结果 ， 实 现 了 预期 的 逻辑 以 服务 用 户 请 求 。 有 时 这 种 方法 是 不 适用 的 ， 例 
如 ， 在 计算 耗 时 长 或 某 些 操作 需要 在 给 定时 间 点 触发 时 。 对 于 这 种 情形 ， 一 个 好 的 设计 应 该 
是 : 一 旦 所 需 的 操作 完成 就 立即 给 用 户 提供 反馈 和 通知 。AppEngine 提供 了 附加 的 服务 ， 例 
如 任务 队列 和 Cron 作业 ， 对 关闭 带宽 或 那些 无 法 在 Web 请 求 的 时 限 内 完成 的 计算 进行 简化 
执行 。 

(1) 任务 队列 

任务 队列 允许 应 用 程序 提交 一 个 较 晚 执行 的 任务 。 这 项 服务 对 于 那些 耗 时 长 的 计算 特别 
有 用 ， 即 一 个 请 求 处 理 程序 不 能 在 最 大 响应 时 间 内 完成 。 该 服务 允许 用 户 最 多 有 10 个 队列 ， 
以 可 配置 的 速度 执行 任务 。 

事实 上， 一 个 任务 是 对 一 个 给 定 URL 的 Web 请 求 ， 队 列 通过 将 有 效 载 荷 作为 一 部 分 
Web 请 求 交 给 处 理 程序 的 方式 来 调用 请 求 处 理 程序 。 请 求 处 理 程序 的 职责 是 完成 “任务 执 
行 "， 从 队列 的 角度 看 是 一 个 简单 的 Web 请 求 。 为 了 避免 瞬时 故障 导致 任务 不 能 成 功 完成 ， 
一 日 任务 失败 ， 队 列 可 重新 执行 任务 。 

(2) Cron 作业 

有 时 候 计 算 的 长 度 可 能 不 是 Web 请 求 范 围 之 内 未 进行 操作 的 主要 原因 ， 而 是 需要 操作 
在 一 天 中 的 特定 时 间 执 行 ， 这 可 能 与 Web 请 求 的 时 间 不 一 致 。 在 这 种 情况 下 ， 可 以 通过 使 
用 Cron 作业 服务 在 特定 的 时 间 调 度 所 需 的 操作 。 这 项 服务 的 工作 方式 类 似 任 务 队 列 ， 但 不 
同 之 处 是 在 给 定 的 时 间 调 用 任务 中 的 唤醒 请 求 处 理 程序 ， 且 任务 失败 时 不 重新 执行 。 这 种 行 
为 可 用 于 实施 维护 操作 或 定期 发 送 通知 。 


9.2.2 ”应 用 程序 生命 周期 


AppEngine 提供 了 应 用 程序 生命 周期 中 几乎 所 有 阶段 的 功能 支持 : 测试 、 开 发 、 部 省 、 
监控 。 谷 歌 发 布 的 SDK 为 开发 者 提供 了 这 些 任 务 所 需 的 大 部 分 功能 。 目 前 有 两 种 软件 开发 
工具 包 可 用 于 开发 : Java SDK 和 Python SDK. 

1. 应 用 程序 开发 和 测试 

开发 人 员 可 以 在 本 地 开发 服务 器 上 建立 自己 的 Web 应 用 程序 。 这 是 一 个 自 包含 环境 ， 
开发 人 员 不 必 把 应 用 上 传 到 AppEngine 上 就 能 进行 调试 。 开 发 服务 器 模拟 AppEngine 运行 
时 环境 ， 提 供 了 数据 存储 、 存 储 器 高 速 缓存 和 UrlFetch 的 模拟 实现 ， 并 通过 Web 应 用 程序 
利用 其 他 服务 。 除 了 托管 Web 应 用 程序 ， 开 发 服务 器 还 包含 了 一 套 完 整 的 监控 功能 ， 有 利 
于 描述 应 用 程序 的 行为 ， 特 别 是 对 数据 存储 服务 的 访问 和 查询 。 对 于 应 用 程序 到 AppEngine 
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的 部 署 ， 这 是 一 个 特别 重要 的 特征 。 如 前 所 述 ，AppEngine 为 给 定 的 应 用 执行 的 每 个 查询 建 
立 索 引 ， 以 加 快 对 相关 数据 的 访问 。 这 种 能 力 通 过 应 用 程序 执行 的 所 有 查询 的 先 验 知识 而 获 
得 ， 而 开发 商 在 上 传 应 用 程序 时 就 把 这 些 知识 提供 给 了 AppEngine。 开 发 服务 融 分 析 应 用 程 
序 的 行为 和 和 运行， 跟踪 测 试 过 程 和 开发 中 进行 的 所 有 查询 ， 从 而 为 将 要 建立 的 索引 提供 所 需 
的 信息 。 

(1) Java SDK 

Java SDK 为 开发 人 员 提 供 使 用 Java 5 Al Java 612 7T MHRA ih. A 
外 ， 也 可 以 使 用 谷歌 AppEngine 插件 ， 在 Eclipse 开发 环境 中 开发 应 用 程序 ， 它 集成 了 功能 
强大 的 Eclipse 环境 中 SDK 的 功能 。 使 用 Eclipse 的 软件 安装 程序 ， 可 以 在 Eclipse 中 下 载 和 
安装 Java SDK, AK Web Tookit 和 谷歌 AppEngine 的 插件 。 这 三 个 组 件 使 开发 人 员 能 够 为 
AppEngine 编写 强大 而 丰富 的 Java 应 用 程序 。 

SDK 支持 的 应 用 程序 通过 使 用 servlet 抽象 来 开发 应 用 程序 ，servlet 是 一 个 通用 开发 模 


“SK. servlet 和 许多 其 他 功能 可 用 于 构建 应 用 程序 。 此 外 ， 开 发 人 员 可 以 使 用 Eclipse Web -F 


台 轻 松 地 创建 Web 应 用 程序 ，Eclipse Web 平台 提供 了 一 组 工具 和 组 件 。 

该 插件 允许 开发 、 测 试 以 及 在 AppEngine 上 部 署 应 用 程序 。 其 他 任务 (如 应 用 程序 日 志 
检索 ) 都 可 以 使 用 命令 行 工 具 ， 命 令 行 工具 是 SDK 的 一 部 分 。 

(2 ) Python SDK 

Python SDK 人 允许 用 Python 2.5 开发 AppEngine Web 应 用 程序 。 它 提供 了 一 个 单独 工具 ， 
称 为 谷歌 AppEngineLauncher， 可 在 本 地 管理 Web 应 用 程序 ， 并 将 它们 部 署 到 AppEngine。 
该 工具 提供 了 方便 的 用 户 界 面 ， 列 出 了 所 有 可 用 的 Web 应 用 程序 ， 控 制程 序 的 执行 ， 并 与 
默认 的 代码 编辑 器 集成 来 编辑 应 用 程序 文件 。 此 外 ， 启 动 器 可 访问 一 些 重要 的 服务 ， 如 日 
志 、SDK 控制 面板 和 仪表 板 ， 来 监控 和 分 析 应 用 程序 。 日 志 控制 面板 捕获 所 有 应 用 程序 运 
行 时 记录 的 信息 。 控 制 面板 SDK 为 开发 人 员 提 供 一 个 Web 界面 ， 通 过 界面 可 以 看 到 资源 使 
用 方式 的 应 用 程序 配置 文件 。 此 功能 特别 有 用 ， 一 旦 应 用 程序 部 署 在 AppEngine E, Ef 
许 开发 者 预览 应 用 程序 的 行为 ， 并 且 可 以 通过 运行 时 调整 应 用 程序 。 

SDK 的 Python 实现 还 自 带 了 一 个 集成 Web 应 用 的 框架 ， 名 为 webapp， 它 包括 一 组 简 
化 了 Web 应 用 程序 开发 的 模型 、 组 件 和 工具 ， 且 执行 一 套 统一 的 做 法 。 它 不 是 开发 Web 应 
用 程序 的 唯一 Web 框架 ， 还 有 几 十 个 可 用 的 Python Web 框架 。 然 而 ， 由 于 沙 箱 环 境 的 限 
制 ， 它 们 都 不 能 无 缝 地 使 用 。webapp 框架 已 经 被 重新 实现 ， 并 在 Python SDK 中 可 用 ， 因 此 
也 可 用 于 AppEgnine。 另 一 个 Web 框架 Django” 也 很 好 用 。 

SDK 是 一 组 命令 行 工 具 ， 人 允许 开发 人 员 通 过 启动 器 以 及 更 多 的 shell 命令 执行 所 有 
操作 。 

2. 应 用 程序 的 部 署 和 管理 

一 且 应 用 程序 完成 开发 和 测试 ， 就 可 以 用 一 个 简单 的 点 击 或 命令 行 工具 部 署 在 
AppEngine 上 。 执 行 此 操作 之 前 ， 需 要 创建 一 个 应 用 程序 标识 符 ， 用 于 在 Web 浏览 器 键入 
地 址 http://<application-id>.appspot.com 定位 应 用 程序 。 另 外 ， 也 可 以 将 应 用 程序 映射 到 注 


册 的 DNS 域名 。 这 对 于 商业 开发 特别 有 用 ， 用 户 通 过 提供 一 个 更 合适 的 名 称 使 应 用 程序 
可 用 。 
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应 用 标识 符 是 强制 性 的 ， 它 是 应 用 程序 与 AppEngine 进行 交互 的 唯一 标识 。 开 发 人 员 
可 以 使 用 一 个 应 用 标识 符 来 上 传 和 更 新 应 用 程序 。 标 识 符 是 唯一 的 ， 同 时 也 要 符合 域名 命名 
规则 。 登 录 AppEngine， 选 择 “创建 应 用 程序 ”选项 ， 便 可 注册 一 个 应 用 程序 标识 符 。 也 可 
通过 一 个 应 用 程序 标题 来 描述 应 用 程序 ， 标 题 可 以 随 着 时 间 而 改变 。 

一 旦 创建 应 用 程序 标识 符 ， 就 可 以 在 AppEngine 上 部 署 应 用 程序 。 这 个 任务 可 以 使 用 
相应 的 开发 环境 (谷歌 AppEngineLauncher 和 谷歌 AppEngine 插件 ) 或 命令 行 工 具 来 完成 。 
应 用 程序 一 旦 上 传 ， 不 需要 再 做 任何 事情 去 实现 程序 的 可 用 性 。AppEngine 会 负责 一 切 。 然 
后 ， 开 发 人 员 可 以 通过 使 用 管理 控制 面板 管理 应 用 程序 。 管 理 控 制 面 板 是 用 于 应 用 程序 监控 
的 主要 工具 ， 让 用 户 深入 了 解 资源 使 用 情况 (CPU 、 带 宽 ) 和 服务 ， 以 及 其 他 功能 的 使 用 情 
沈 。 态 外 ， 也 可 以 管理 一 个 单一 应 用 的 多 个 版 本 ， 选 择 其 中 一 个 进行 发 布 ， 并 且 管 理 与 其 相 
关 的 计 费 问题 。 


9.2.3 成 本 模型 


AppEngine 提供 的 限量 免费 服务 每 阳 24 小 时 重 置 一 次 。 一 旦 应 用 程序 已 经 由 AppEngine 
测试 和 调整 ， 便 可 建立 一 个 缴费 账户 ， 按 使 用 时 间 收 费 ， 获 得 更 多 的 补贴 。 这 使 得 开发 人 员 
可 以 明确 为 给 定 的 应 用 分 配 适 当 的 每 日 预算 。 

应 用 程序 按 计 费 配额 、 固 定 配额 、 每 分 钟 配额 度量 。 谷 歌 AppEngine 使 用 这 些 配额 以 
确保 用 户 花 费 不 会 超过 所 分 配 的 预算 ， 且 应 用 程序 性 能 不 受 影 响 。 计 费 配额 是 指 每 日 配额 ， 
由 应 用 程序 管理 员 设 置 ， 通 过 分 配给 应 用 程序 的 每 日 预算 定义 。AppEngine 会 确保 应 用 程序 
不 会 超过 这 些 配额 。 免 费 配额 是 计 费 配额 的 一 部 分 ， 规 定 用 户 不 收费 的 配额 部 分 。 固 定 配额 
是 由 AppEngine 设置 内 部 配额 ， 确 定 基 础 设施 的 边界 和 和 定义 应 用 程序 可 以 在 基础 设施 〈 服 
务 和 运行 时 ) 上 执行 的 操作 。 这 些 配 额 一 般 都 大 于 计 费 配额 ， 并 由 AppEngine 设置 ， 以 避 
免 应 用 程序 影响 彼此 的 性 能 或 基础 设施 超载 。 成 本 核算 模型 还 包括 每 分 钟 配 额 ， 定 义 它 是 为 
了 避免 应 用 程序 在 非常 有 限 的 时 间 内 消费 所 有 存款 、 独 占 资源 或 为 其 他 应 用 程序 创建 服务 
中 断 。 

一 旦 应 用 程序 对 于 一 个 给 定 的 资源 达到 配额 ， 该 资源 被 耗 尽 ， 用 户 将 无 法 使 用 该 应 用 
程序 ， 直 到 配额 得 到 补充 。 一 旦 资源 耗 尽 ， 后 续 对 该 资源 的 请 求 将 产生 错误 或 异常 。 例 如 ， 
CPU 时 间 和 流入 或 流出 带宽 将 向 用 户 返回 “HTTP 403” 错 误 页 面 。 其 他 资源 和 服务 也 将 生 
成 一 个 异常 ， 这 些 异 常 在 代码 中 被 捕获 ， 并 向 用 户 反 馈 更 多 的 有 用 信息 。 

资源 和 服务 的 配额 被 组 织 成 免费 的 默认 配额 和 可 计 费 的 默认 配额 。 对 于 这 两 种 配额 ， 
定义 日 限制 和 最 大 速率 。 配 额 如 何 工 作 、 配 额 的 极限 、 向 用 户 收 取 金 额 的 详细 说 明 参 考 
AppEngine 网 站 : http://code.google.com/appengine/docs/quotas.html . 


9.2.4 结论 


利用 谷歌 的 基础 设施 ，AppEngine 是 一 个 开发 可 扩展 的 Web 应 用 程序 的 框架 。 服 务 的 
核心 部 件 是 一 个 可 扩展 的 沙 箱 运行 时 环境 ， 用 于 执行 应 用 程序 ， 并 实现 大 部 分 Web 开发 的 
共同 特征 的 一 系列 服务 ， 帮 助 开发 人 员 构 建 易 于 扩展 的 应 用 程序 。AppEngine 的 特征 元 素 之 
一 是 利用 简单 的 接口 ， 允 许 应 用 程序 执行 用 于 优化 和 设计 可 扩展 性 能 的 具体 操作 。 基 于 这 些 
模块 ， 开 发 人 员 可 以 构建 应 用 程序 ， 需 要 时 还 可 利用 AppEngine 扩展 应 用 程序 。 

相对 于 传统 的 Web 开发 方法 ， 丰 富 而 强大 的 应 用 程序 的 实现 需要 创新 思维 和 更 多 的 努 
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力 。 开 发 人 员 必 须 熟 悉 AppEngine 的 功能 ， 并 且 用 符合 AppEngine 应 用 程序 模型 的 方式 实 
现 所 需 的 功能 。 
9.3 微软 Azure 


微软 Windows Azure 是 一 个 云 操作 系统 ， 建 立 于 微软 数据 中 心 的 基础 设施 之 上 ， 并 为 开 
发 者 提供 一 组 用 云 技 术 构 建 应 用 程序 的 服务 。 服 务 范围 从 计算 、 存 储 、 网 络 到 应 用 程序 的 连 


“ 接 、 访 问 控制 以 及 商业 智能 。 建 立 在 微软 技术 之 上 的 任何 应 用 程序 都 可 以 使 用 Azure 平台 1 


行 扩 展 ， 它 将 可 扩展 性 功能 集成 到 通用 微软 技术 中 ， 如 微软 的 Windows Server 2008、SQL 
Server 和 ASPNET。 

图 9-3 所 示 为 Azure 中 所 提供 的 服务 概览 。 这 些 服 务 由 Windows Azure 管理 门户 管理 和 
控制 ， 它 是 Azure 平台 提供 的 所 有 服务 的 管理 控制 面板 。 本 市 将 介绍 Azure 的 主要 服务 的 核 
心 功能 。 
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9.3.1 Azure 核心 概念 


Windows Azure 平台 由 基础 层 和 一 组 可 用 于 构建 可 扩展 应 用 程序 的 开发 者 服务 组 成 。 这 
些 服务 涵盖 计算 、 存 储 、 网 络 和 身份 管理 ， 通 过 称 为 AppFabric 的 中 间 件 绑 在 一 起 。 这 种 可 
扩展 的 计算 环境 托管 在 微软 数据 中 心 内 部 ， 可 通过 Windows Azure 管理 门户 访问 。 另 外 ， 开 
发 人 员 可 以 在 自己 的 机 器 上 重新 创建 一 个 用 于 开发 和 测试 的 Windows Azure 环境 (功能 有 
限 )。 本 节 将 概述 Azure 中 间 件 及 其 服务 。 


1. 计算 服务 

计算 服务 是 微软 Windows Azure 的 核心 组 件 ， 以 角色 抽象 的 方式 发 布 。 角 色 是 定制 特 
定 计算 任务 的 运行 时 环境 ， 由 Azure 操作 系统 管理 和 按 需 实例 化 ， 以 解决 激增 的 应 用 程序 需 
求 。 目 前， 有 三 种 不 同 的 角色 : Web 角色 、 工 作者 角色 和 虚拟 机 (VM) 角色 。 

(1) Web 角色 

Web 角色 绅 在 实现 可 扩展 的 Web 应 用 程序 。Web 角色 代表 了 Azure 的 基础 设施 中 部 团 
Web 应 用 程序 的 单元 。 它 们 都 托管 在 IIS 7 Web 服务 器 。IIS 7 Web 服务 器 是 一 个 支持 Azure 
基础 设施 的 组 件 。 当 Azure 中 检测 到 一 个 给 定 的 应 用 程序 发 出 请 求 的 高 峰 负 荷 ， 它 为 应 用 程 
序 实例 化 多 个 Web 角色 ， 并 通过 负载 均衡 的 方式 在 它们 之 间 的 分 配 负载 。 

由 于 3.5 版 中 .NET 技术 原生 支持 Web 角色 ， 开 发 人 员 可 以 直接 在 Visual Studio 中 开 
发 应 用 程序 ， 在 本 地 测试 并 上 传 到 Azure。 可 以 开发 ASPNET ( ASP.NET Web 角色 和 人 ASP 
NET MVC 2 Web 角色 ) 和 和 WCF (WCF 服务 Web 角色 ) 等 应 用 程序 。 由 于 IIS7 还 通过 
FastCGI 模块 文 持 PHP 运行 环境 ， 所 以 Web 角色 可 用 于 在 Azure (CGI Web 角色 ) 上 运行 和 
扩展 PHP Web 应 用 程序 。 未 与 IIS 集成 的 其 他 Web 技术 仍然 可 以 托管 在 Azure ( 即 Apache 
Tomcat 上 的 Java 服务 器 页 面 )， 但 使 用 超过 一 个 Worker 角色 的 Web 角色 没有 什么 优势 。 

(2) 工作 者 角色 

工作 者 角色 用 来 在 Azure 上 托管 普通 的 计算 服务 。 它 们 可 以 快速 提供 计算 能 力 或 者 托管 
不 通过 HTTP 与 外 部 世界 进行 通信 的 服务 。 对 于 工作 者 角色 通常 的 做 法 是 使 用 它们 为 Web 
角色 开发 的 Web 应 用 程序 提供 后 台 处 理 。 

开 妥 工作 者 角色 就 像 是 开发 服务 。Web 角色 的 计算 由 HTTP 客户 端 ( 即 浏览 器 ) 的 交互 
和 触发， 而 工作 者 角色 从 实例 创建 开始 就 连续 运行 ， 直 到 被 关闭 。Azure SDK 为 开发 人 员 提 
供 方 便 的 API 和 库 ， 允 许 连 接 角 色 和 运行 时 所 提供 的 服务 ,方便 地 控制 它 的 启动 以 及 通知 
托管 环境 的 变化 。 对 于 Web 角色 ，.NET 技术 提供 了 对 工作 者 角色 的 完整 支持 ， 但 是 在 基于 
Windows Server 栈 上 运行 的 任何 技术 都 可 以 用 来 实现 其 核心 逻辑 。 例 如 ， 工 作者 角色 可 用 于 
托管 Tomcat 和 服务 基于 JSP 的 应 用 程序 。 

(3) 虚拟 机 角色 

虚拟 机 角色 使 开发 人 员 能 通过 定义 Windows Server 2008 R2 操作 系统 的 定制 镜像 和 应 
用 程序 所 需 的 所 有 服务 栈 ， 完 全 控制 计算 服务 的 计算 栈 。 虚 拟 机 角色 基于 Windows Hyper-V 
虚拟 化 技术 (UL 3.6.3 节 ) A Azure Windows 服务 器 技术 天 然 集 成 。 开 发 人 员 可 以 镜像 一 个 
Windows 服务 需 安 装 ， 完 成 所 有 必需 的 应 用 程序 和 组 件 ， 将 其 保存 到 虚拟 硬盘 (VHD) X 
件 ， 并 把 它 上 传 到 Windows Azure 上 创建 按 需 计算 实例 。 实 例 有 不 同 的 类 型 ， 表 9-7 概述 了 
2011 一 2012 年 期 间 提供 的 可 选 实 例 。 

表 9-7 Windows Azure 计算 实例 的 特性 ，2011 一 2012 
计算 实例 类 型 | cpu | we | 实例 存储 | I/O 性 能 | 每 小 时 费用 (美元 ) 
中 型 $0.24 
HAN 50.9 


比 起 工作 者 角色 和 Web 和 角色， 虚拟 机 角色 提供 了 对 部 署 在 Azure 云 上 的 计算 服务 和 资 
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源 的 更 好 的 控制 。 但 需要 额外 的 服务 配置 、 安 装 和 管理 。 
2. 存储 服务 
计算 资源 配备 了 本 地 存储 ， 在 本 地 文件 系统 上 以 目录 的 形式 暂时 存储 信息 ， 用 于 角色 的 
当前 执行 周期 。 如 果 角 色 在 不 同 的 物理 机 器 上 重新 启动 或 激活 ， 该 信息 将 丢失 。 
相对 于 本 地 存储 ，Windows Azure 提供 了 不 同类 型 的 存储 解决 方案 ,使 计算 服务 具有 更 
持久 和 元 余 的 选择 。 这 些 服务 可 以 由 来 自 世 界 各 地 的 多 个 客户 端 同时 访问 ， 从 而 成 为 一 个 通 
用 的 存储 解决 方案 。 
(1) 二 进 制 大 对 象 
Azure 允许 通过 blob 服务 方式 以 二 进 制 大 对 象 (BLOB) 的 形式 存储 大 量 数据 。 这 项 服 
务 对 于 存储 大 型 文本 或 二 进 制 文件 是 最 优 的 。 有 两 种 类 型 的 blob: 
e 块 blob : 块 blob 由 块 组 成 ， 对 顺序 访问 进行 了 优化 ， 因 此 适用 于 流 媒体 。 目 前 ， 块 
大 小 为 4 MB， 而 一 块 blob 可 以 达到 200 GB- 
e 页 面 blob : Mim blob 由 页 面 组 成 ， 由 blob 起 始 处 的 偏 移 确 定 。 一 个 页 面 的 blob 可 
分 成 多 页 或 由 单 页 构成 。 这 种 blob 类 型 可 随机 存 取 ， 用 于 托管 不 同 于 流 的 数据 。 目 
前 ， 一 个 页 面 blob 的 最 大 尺寸 可 以 为 1TB。 
blog 存储 允许 用 户 通过 添加 元 数据 来 描述 数据 。 男 外 ， 也 可 以 对 一 个 blob 的 快照 进行 
备份 。 此 外 ， 为 了 优化 分 布 , blob 存储 可 以 利用 Windows Azure CDN 使 blob 接近 用 户 需 求 ， 
以 有 效 地 提供 服务 。 
(2) Azure 驱动 器 
页 面 blob 以 一 个 单一 虚拟 硬盘 驱动 器 (VHD) 文件 的 形式 存储 整个 文件 系统 ， 因 此 可 
以 作为 Azure 计算 资源 的 NTFS 文件 系统 的 一 部 分 来 安装 ， 从 而 提供 持续 永久 的 存储 。 安 装 
为 NTFS 树 的 一 部 分 的 一 个 页 面 blob， 称 为 Azure 驱动 器 。 
(3) & 
表 是 一 个 半 结 构 化 存储 解决 方案 ， 人 允许 用 户 以 实体 和 一 组 属性 的 形式 存储 信息 。 实 体 存 
储 为 表 中 的 行 ， 标 识 为 一 个 键 ， 键 也 构成 表 的 唯一 索引 。 用 户 可 以 对 存储 在 表 中 的 行 的 子 集 
进行 插入 、 更 新 、 删 除 和 选择 。 和 SQL 表 不 同 的 是 ， 这 里 的 表 没 有 强制 实施 约束 实体 属性 
的 模式 ， 也 不 能 表示 实体 之 间 的 关系 。 因 此 ， 表 更 类 似 于 电子 表格 ， 而 不 是 SQL 表 。 
这 项 服务 专门 用 来 处 理 大 量 数据 和 返回 大 量 结果 集 的 查询 。 此 功能 由 部 分 结果 集 和 表 分 
区 支持 。 部 分 结果 集 和 一 个 连续 标记 一 起 返回 ， 人 允许 用 户 重新 查询 大 结果 集 。 为 了 负载 均衡 ， 
表 分 区 允许 表 分 散在 几 个 服务 器 。 一 个 分 区 由 一 个 键 标识 ， 键 由 表 中 的 三 列 属性 来 表示 。 
目前 ， 一 个 表 可 以 包含 多 达 100 TB 的 数据 ， 并 且 每 行 可 以 具有 多 达 255 个 属性 ， 每 一 
行 最 大 1 MB。 行 键 和 分 区 键 最 大 为 1 KB. 
(4) 队列 
队列 存储 允许 应 用 程序 通过 持久 队列 交换 消息 进行 通信 ， 从 而 避免 丢失 或 未 经 处 理 的 消息 。 
应 用 程序 输入 的 消息 放 入 一 个 队列 ， 其 他 应 用 程序 可 以 按 先进 先 出 (FIFO) 顺序 读 取 消息 。 
为 了 确保 消息 得 到 处 理 ， 当 应 用 程序 读 取 一 条 消息 时 ， 它 将 被 标记 为 不 可 见 ， 这 样 其 他 
客户 问 便 不 能 读 取 。 一 旦 应 用 程序 处 理 完 消息 ,需要 显 式 地 从 队列 中 删除 该 消息 。 这 两 个 
阶段 确保 消息 从 队列 中 删除 之 前 得 到 处 理 ， 并 且 客 户 端 故障 不 会 妨碍 消息 的 处 理 。 同 时 ， 这 
也 是 该 队列 不 执行 严格 的 先进 先 出 模式 一 个 原因 : 若 应 用 程序 在 处 理 消息 过 程 中 崩溃 ， 此 消 
息 超 时 后 再 次 可 用 ， 在 此 期 间 ， 其 他 消息 可 以 被 其 他 用 户 读 取 。 另 一 种 读 取消 息 方 法 是 偷 看 
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(peeking)， 消 息 允 许 检索 ， 但 只 在 队列 中 保持 可 见 。 被 偷 看 的 消息 不 认为 是 被 处 理 了 。 

上 述 所 有 服务 都 在 地 理 位 置 上 复制 三 次 ， 以 确保 重大 灾害 时 可 用 。 地 域 复制 将 数据 复制 
到 不 同 的 数据 中 心 ， 可 能 离 原来 的 数据 中 心 数 百 或 数 千 英 里 远 。 

3. 核心 基础 设施 : AppFabric 

AppFabric 是 一 个 全 面 的 中 间 件 ， 用 于 开发 、 部 署 和 管理 应 用 程序 。 应 用 程序 可 以 是 云 
上 的 或 集成 现 有 的 应 用 程序 和 云 服 务 。AppFabric 实现 了 一 个 优化 的 基础 设施 ， 支 持 向 外 扩 
展 和 高 可 用 性 、 沙 箱 和 多 租户 、 状 态 管 理 、 动 态 地 址 解析 和 路 由 。 在 此 基础 之 上 ， 中 间 件 提 
供 一 组 服务 ， 简 化 了 许多 在 分 布 式 应 用 程序 中 的 常见 任务 ， 如 通信 、 身 份 验证 、 授 权 以 及 数 
据 访 问 。 这 些 服务 都 可 以 通过 语言 无 关 的 接口 使 用 ， 从 而 允许 开发 人 员 构 建 异 构 应 用 程序 。 

(1) 访问 控制 

AppFabric 允许 用 户 对 Web 应 用 程序 的 资源 和 服务 进行 访问 控制 ， 该 功能 被 编码 成 一 组 
规则 ， 在 应 用 程序 代码 库 之 外 表示 。 这 些 规则 在 保护 应 用 程序 的 组 件 以 及 为 用 户 和 组 定义 访 
问 控 制 策略 方面 有 很 大 的 灵活 性 。 

访问 控制 服务 还 将 多 种 身份 验证 提供 者 集成 到 一 个 单一 的 一 致 的 身份 管理 框架 。 应 用 程 
序 可 以 利用 活动 目录 、Windows Live, Google, Facebook 和 其 他 服务 来 验证 用 户 身 份 。 此 
功能 更 易 建 设 混 合 系 统 ， 一 部 分 存在 于 私有 云 上 ， 其 他 的 部 署 在 公共 云 上 。 

(2 ) 服务 总 线 

服务 总 线 是 消息 传递 和 连接 的 基础 设施 ， 由 AppFabric 提供 ， 为 Azure 云 以 及 私有 设施 
与 Azure 云 之 间 构 建 分 布 和 非 连接 的 应 用 程序 。 在 一 个 可 靠 的 保证 发 布 的 通信 通道 上 ， 服 务 
总 线 允 许 应 用 程序 与 不 同 的 协议 和 模式 交互 。 

这 项 服务 的 目的 是 支持 透明 的 网 络 和 简化 松 看 合 应 用 程序 的 开发 ， 它 没有 否认 安全 性 和 
可 靠 性 ， 而 是 让 开发 人 员 专 注 于 交互 性 而 不 是 实现 细节 的 逻辑 。 服 务 总 线 允 许 服务 通过 简单 
的 URL 访问， 并 从 URL 部 署 的 位 置 解析 。 服 务 总 线 可 支持 发 布 - 订阅 模型 和 全 双 工 通信 
的 点 对 点 模型 ， 以 及 对 等 网 络 环境 中 单 向 通信 的 单 播 和 多 播 消息 传递 和 异步 消息 ， 从 而 解 耦 
/ 分离 应 用 程序 组 件 。 

为 了 充分 利用 这 些 特性 ， 应 用 程序 需要 连接 到 提供 这 些 服务 的 总 线 。 连 接 是 服务 总 线 元 
素 ，Azure 按 即 付 即 用 定价 。 用 户 账单 按 每 个 月 的 连接 计算 ， 如 果 能 提前 估计 他 们 的 需求 也 
可 以 提前 购买 折扣 价 的 “连接 包 ”。 

(3) Azure 缓存 

Windows Azure 提供 了 一 组 持久 存储 解决 方案 ， 人 允许 应 用 程序 保存 数据 。 这 些 解决 方案 
是 基于 磁盘 存储 的 ， 这 对 按 客户 要 求 和 数据 集 的 大 小 进行 扩展 的 应 用 程序 来 说 ， 可 能 是 一 个 
瓶颈 。 

Azure 缓存 是 一 种 服务 ， 人 允许 开发 人 员 快 速 访问 存储 在 Windows Azure 或 SQL Azure 中 
的 数据 。 该 服务 实现 了 一 个 分 布 式 内 存 缓存 ， 大 小 可 以 由 应 用 程序 根据 自己 的 需要 进行 动态 
调整 。 它 可 以 存储 任何 NET 管理 对 象 ， 以 及 许多 常见 的 数据 格式 〈 表 的 行 、XML、 二 进 制 
数据 )， 并 通过 应 用 程序 控制 其 访问 。Azure 缓存 作为 服务 交付 ， 并 且 它 可 以 与 应 用 程序 轻松 
集成 。 特 别 是 ASP.NET 应 用 程序 ， 已 经 基于 Azure 缓存 集成 了 会 话 状 态 供 应 商 和 页 面 输出 
缓存 。 

该 服务 根据 应 用 程序 每 月 分 配 缓存 的 大 小 定价 ， 尽 管 它们 能 够 有 效 地 使 用 缓存 。 目 前 ， 
有 几 个 缓存 尺寸 可 供 选 择 ， 范 围 从 128 MB ( 45 美元 /月 ) 到 4GB (325 美元 /月 )。 


gan LLAFE MHR 


4. 其 他 服务 

计算 、 存 储 和 中 间 件 服务 构成 了 Windows Azure 平台 的 核心 组 成 部 分 。 除 此 之 外 ， 其 他 
的 服务 和 组 件 简化 了 Azure 云 计 算 应 用 程序 的 开发 和 集成 。 这 些 服务 的 一 个 重要 领域 是 应 用 
程序 的 连接 ， 包括 虚拟 网 络 和 内 容 发 布 。 

(1) Windows Azure 虚拟 网 络 

应 用 程序 的 网 络 服务 由 Windows Azure 虚拟 网 络 提 供 ， 包 括 Windows Azure 连接 和 
Windows Azure 流量 管理 器 。 

Windows Azure 连接 可 以 方便 地 设置 托管 在 私有 基础 设施 以 及 部 署 在 Azure 云 的 角色 之 
间 的 基于 IP 的 网 络 连接 。 这 项 服务 对 于 虚拟 机 角色 特别 有 用 ， 其 中 托管 在 Azure zs HY BL at 
成 为 企业 私有 网 络 的 一 部 分 ， 并且 可 以 使 用 与 私人 处 所 中 相同 的 工具 进行 管理 。 

Windows Azure 流量 管理 器 为 HTTP 或 HTTPS 端口 的 服务 监听 提供 负载 平衡 功能 ， 并 托 
管 在 多 个 角色 上 。 开 发 者 可 以 从 三 个 不 同 的 负载 均衡 策略 中 选择 性能、 轮转 和 故障 转移 ， 

目前 ， 这 两 项 服务 仍 处 于 B 测试 阶段 ， 只 有 通过 邀请 才 人 免费 提供 ，。 

(2) Windows Azure 内 容 交 付 网 络 

Windows Azure 内 容 交 付 网 络 (CDN) 是 内 容 交 付 网 络 解决 方案 ， 它 提高 了 Windows 
Azure 存储 和 其 他 Microsoft 服务 的 内 容 交 付 能 力 ， 如 Microsoft Windows 更 新 和 Bing 地 图 ， 
该 服务 允许 通过 使 用 分 布 在 世界 各 地 的 24 个 网 点 提供 Web 对 象 (EUR. iA HTML, CSS 
和 脚本 ) 以 及 流 媒体 服务 。 


9.3.2 SQL Azure 


SQL Azure 是 关系 数据 库 服 务 ， 托 管 在 Windows Azure， 并 基于 SQL Server 技术 构建 
这 项 服务 将 SQL Server 功能 扩展 到 云 计 算 ， 并 为 开发 者 提供 可 扩展 、 高 度 可 用 和 容错 的 关 
系数 据 库 。 可 从 Windows Azure 云 或 有 权 访 问 到 Azure 云 的 其 他 任何 位 置 访 问 SQL Azure. 
它 与 SQL Server 所 提供 的 接口 完全 兼容 ， 所 以 SQL Server 建立 的 应 用 程序 可 以 透明 地 迁移 
到 SQL Azure。 此 外 ， 通 过 使 用 REST API， 开 发 人 员 能 够 控制 部 署 在 Azure 云 的 数据 库 ， 
并 设置 其 访问 防火 墙 规则 的 服务 是 完全 可 控 的 。 

图 9-4 显示 了 SQL Azure 的 架构 。 对 SQL Azure 的 访问 基于 表格 格式 数据 流 (TDS) 协 
议 ， 这 是 应 用 程序 使 用 的 所 有 不 同 接口 之 下 的 通信 协议 ， 用 来 连接 基于 SQL Server 的 安装 ， 
如 ODBC 和 ADO.NET。SQL Azure 通过 服务 层 访问 数据 ， 提 供 了 服务 开通 、 计 费 和 连接 路 
由 服务 。 这 些 服务 多 辑 上 是 服务 器 实例 的 一 部 分 ， 由 SQL Azure Fabric 管理 。 它 是 分 布 式 数 
据 库 中 间 件 ， 构 成 SQL Azure 的 基础 设施 ， 在 微软 数据 中 心 部 署 。 

开发 人 员 必 须 注册 一 个 Windows Azure 账户 才能 使 用 SQL Azure。 一 旦 该 账户 被 激活 ， 
便 可 使 用 Windows Azure 管理 门户 或 REST API 创建 服务 器 ， 登 录 并 配置 对 服务 器 的 访问 。 
SQL Azure HR I Ar X WM F H E SQL Server 的 抽象 ， 具有 database.windows.net (EI server- 
name.database.windows.net) 域名 下 的 一 个 完全 合格 的 域名 。 这 就 简化 了 管理 任务 以 及 客户 
闹 应 用 程序 与 SQL Azure 的 交互 。SQL Azure 确保 在 Azure 云 内 维护 每 个 服务 器 的 多 个 副本 ， 
当 客户 端 应 用 程序 中 插入 、 更 新 和 删除 数据 时 ， 确 保 这 些 副 本 是 同步 的 。 

目前 ，SQL Azure 的 服务 是 根据 空间 的 使 用 和 编辑 的 类 型 计 费 。 有 两 种 不 同 的 版 本 可 供 
选择 : Web 版 和 商业 版 。 前 者 适合 小 型 Web 应 用 程序 ， 支 持 最 大 1 GB 或 5 GB 的 数据 库 。 
后 者 适合 独立 的 软件 供应 商 、 业 务 线 应 用 程序 和 企业 应 用 程序 ， 支 持 10 ~ 50 GB 的 数据 库 ， 
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增 量 为 10 GB。 此 外 ,带宽 费用 适用 于 误 访问 / 删除 Windows Azure 云 或 数据 库 所 在 区 域 的 
任何 数据 传输 - BAP / 数据库 的 月 租 费 收取 基于 本 月 数据 库 达 到 峰值 大 小 。 
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图 9-4 SQL Azure 架构 








9.3.3 Windows Azure 平台 设备 


Windows Azure 平台 还 可 以 部 署 为 第 三 方 数据 中 心 的 设备 ， 构 成 监管 数据 中 心 的 物理 服 
务 器 的 云 基础 设施 。Windows Azure 平台 设备 包括 : Windows Azure，SQL Azure 和 微软 的 
网 络 、 存 储 和 服务 器 硬件 的 特定 配置 。 该 设备 是 一 个 解决 方案 提供 给 那些 想 拥有 上 自己 的 云 
计算 基础 设施 的 政府 和 服务 供应 商 。 

如 前 所 述 ，Azure 已 经 提供 了 一 个 开发 环境 ， 人 允许 用 户 在 自己 的 处 所 为 Azure 构建 应 用 。 
本 地 开发 环境 的 目的 不 是 生产 中 间 件 ， 而 是 设计 用 来 专门 开发 和 测试 应 用 程序 的 功能 ， 应 
用 程序 最 终 将 被 部 署 在 Azure 上 。Azure 设备 没有 实现 Windows Azure 的 全 部 功能 。 它 的 目 
标 是 在 第 三 方 基础 设施 上 复制 Azure， 使 其 服务 内 容 超 出 微软 云 的 范围 。 该 设备 专注 于 两 个 
主要 场景 ， 有 非常 大 计算 需求 的 机 构 (如 政府 部 门 )， 以 及 支付 不 起 将 数据 向 处 所 外 转移 的 
HLHS 


9.3.4 结论 


Windows Azure 是 微软 用 于 开发 云 计算 应 用 程序 的 解决 方案 。Azure 是 Paas 层 的 实现 ， 
为 开发 人 员 提供 了 一 组 服务 和 托管 在 Microsoft 数据 中 心 的 可 扩展 的 中 间 件 ，Microsoft 数据 
中 心 负责 计算 、 存 储 、 网 络 化 和 处 理应 用 程序 的 身份 管理 需求 。Azure 服务 可 以 单独 或 一 起 
构建 整合 云 功 能 的 应 用 程序 和 在 云 中 完全 托管 的 弹性 计算 系统 。 
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该 平台 的 核心 组 件 是 计算 服务 、 存 储 服务 和 中 间 件 。 计 算 服 务 基 于 角色 的 抽象 ， 它 确定 
一 个 沙 箱 环 境 ， 开 发 人 员 可 以 构建 自己 的 分 布 式 和 可 扩展 的 组 件 。 这 些 角 色 对 Web 应 用 

程序 、 后 端 处 理 和 虚拟 计算 是 有 用 的 。 存 储 服务 包括 静态 和 动态 内 容 解决 方案 ， 以 表格 形式 
组 织 ， 比 关系 模型 组 织 的 约束 更 少 。 这 些 服务 和 其 他 服务 通过 AppFabric 实现 和 获得 ， 构 成 
T Azure 分 布 式 和 可 扩展 的 中 间 件 。 

SQL Azure 是 Windows Azure 中 的 另 一 个 重要 元 素 ， 支 持 云 中 的 关系 数据 。SQL Azure 
是 为 适合 云 计 算 环 境 而 设计 的 动态 扩展 SQL Server 功能 的 延伸 。 

该 平台 主要 基于 NET 技术 和 Windows 系统 ， 也 文 持 其 他 技术 和 系统 。 因 此 ，Azure 是 
迁移 到 基于 .NET 技术 的 云 应 用 程序 的 选择 方案 。 


本 章 小 结 


本 章 介 绍 了 一 些 业界 广泛 应 用 的 建设 真正 的 商业 应 用 的 云 计 算 平 台 : 亚马逊 Web ks, 
谷歌 AppEngine 和 微软 Windows Azure. 

AWS 提供 了 亚马逊 云 中 基础 设施 建设 的 解决 方案 。 亚 马 逊 EC2 和 亚马逊 S3 代表 AWS 
的 核心 产品 。 前 者 允许 开发 人 员 创建 虚拟 服务 器 ， 并 根据 需要 定制 自己 的 计算 堆栈 。 后 者 是 
一 个 存储 解决 方案 ， 人 允许 用 户 存储 任意 大 小 的 文件 。 这 些 核 心服 务 通过 一 组 大 量 服务 ， 包 括 
网 络 、 数 据 管理 、 内 容 发 布 、 计 算 中 间 件 和 通信 服务 ， 从 而 构成 在 亚马逊 基础 架构 之 上 开发 
整个 云 计算 系统 的 AWS 完整 解决 方案 。 

谷歌 AppEngine 是 在 云 中 构建 Web 应 用 程序 的 分 布 式 和 可 扩展 的 平台 。AppEngine 是 

一 个 可 扩展 的 运行 环境 ， 为 开发 人 员 提 供 一 系列 服务 ， 以 简化 Web 应 用 程序 的 开发 。 这 些 
服务 旨 在 考虑 可 扩展 性 ， 构 成 了 定义 应 用 程序 可 重复 使 用 的 功能 块 。 开 发 人 员 可 以 使 用 Java 
或 Python 构建 自己 的 应 用 程序 ， 先 在 本 地 使 用 AppEngine SDK， 一 旦 应 用 程序 完成 并 经 过 
全 面 测 试 ， 就 可 以 在 AppEngine 上 部 署 应 用 程序 。 

Windows Azure 部 署 在 微软 的 数据 中 心 ， 是 用 来 构建 动态 可 扩展 的 应 用 程序 的 云 操作 系 
Fo Azure 的 核心 部 件 以 计算 服务 表示 ， 包 括 角色 、 存 储 服 务 以 及 AppFabric。AppFabric 是 
联系 所 有 服务 并 构成 Azure 基础 设施 的 中 间 件 。 角 色 是 一 个 沙 箱 运行 环境 ， 专 门 在 特定 的 开 
发 场景 使 用 : Web 应 用 程序 、 后 台 处 理 和 虚拟 计算 。 开 发 人 员 以 角色 定义 Azure 应 用 程序 ， 
然后 在 Azure 上 部 署 这 些 角 色 。 存 储 服务 代表 角色 的 正常 补充 。 除 了 存储 静态 数据 和 半 结 构 
化 数据 ，Windows Azure 还 提供 SQL Azure 服务 方式 存储 关系 数据 。 

AppEngine 和 Windows Azure 是 PaaS 解决 方案 。 尽 管 以 EC2 和 S3 为 代表 的 AWS 因 提 
供 Iaag 而 众所周知 ， 但 AWS 服务 在 整个 云 计算 参考 模型 的 全 部 三 层 中 都 有 所 扩展 。 


习题 


1. 什么 是 AWS ? 它 提 供 什么 类 型 的 服务 ? 

2. 描述 亚马逊 EC2 及 其 基本 功能 。 

3. 什么 是 桶 ? 它 提供 什么 类 型 的 存储 ? 

4. 亚马逊 简单 数据 库 和 亚马逊 RDS 之 间 的 差异 是 什么 ? 
5. 亚马逊 VPC 解决 什么 类 型 的 问题 ? 

6， 介 绍 AWS 为 支持 应 用 程序 之 间 的 连接 所 提供 的 服务 。 
7. 什么 是 亚马逊 CloudWatch ? 
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8. AppEngine 是 什么 类 型 的 服务 ? 
9. 描述 AppEngine 的 核心 部 件 。 


10, 
11. 
.讨论 AppEngine 提供 的 计算 服务 。 

.什么 是 Windows Azure ? 

.详细 说 明 Windows Azure 的 架构 。 

.什么 是 角色 ? 可 使 用 哪些 类 型 的 角色 ? 

， 什 么 是 AppFabric ? 它 提供 哪些 服务 ? 

， 讨 论 由 Windows Azure 提供 的 存储 服务 。 

.什么 是 SQL Azure ? 

， 举例 说 明 SQL Azure 的 架构 。 

， 什么 是 Windows Azure 平台 设备 ? 此 设备 可 用 于 什么 场景 ? 


AppEngine 目前 支持 什么 开发 技术 ? 
什么 是 数据 存储 ? 其 中 可 以 存储 什么 类 型 的 数据 ? 
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a 应 用 





由 于 能 托管 应 用 程序 ， 服 务 可 迅速 地 以 最 低 成 本 提供 给 消费 者 ， 云 计算 已 经 在 业界 受到 
极 大 的 欢迎 。 本 章 讨 论 了 一 些 应 用 案例 ， 详 细 介绍 了 它们 的 架构 以 及 如 何 利用 各 种 云 技术 - 
应 用 程序 涉及 一 系列 领域 ， 从 科学 到 工程 、 游 戏 和 社交 网 络 。 


10.1 科学 应 用 


科学 应 用 越 来 越 多 地 使 用 云 计算 系统 和 技术 。 研 究 人 员 和 学 者 从 无 限 的 可 用 计算 帝 源 和 
存储 能 力 中 获得 潜在 的 收益 ， 与 自己 部 署 资源 相 比 ， 利 用 资源 的 花费 是 可 接受 的 。 云 计算 系 
统 满足 科学 领域 不 同类 型 的 应 用 需求 : 高 性 能 计算 (HPC) 应 用 ， 高 吞吐 量 计 算 (HTC) 应 
用 ， 数 据 密集 型 应 用 。 使 用 云 资源 非常 吸引 人 ， 因 为 为 了 充分 利用 云 资 源 ， 对 现 有 的 应 用 程 
序 只 需要 做 最 小 的 改变 。 

最 相关 的 解决 方案 是 IaaS ， 它 提供 了 运行 任务 包 应 用 程序 和 工作 流 的 最 佳 环境 。Iaas 和 定 
制 虚 拟 机 实例 来 托管 运行 应 用 程序 所 需 的 软件 栈 ， 并 与 分 布 式 计算 中 间 件 协同 ， 以 与 云 基础 
设施 进行 交互 。PaaS 的 解决 方案 已 经 在 考虑 之 列 。 这 使 得 科学 家 要 探索 新 的 编程 模型 来 解 
决 大 计算 量 的 挑战 性 问题 。 应 用 程序 已 经 经 过 重新 设计 ， 并 在 云 应 用 程序 编程 模型 和 平台 之 
上 实现 ， 充 分 利用 其 独特 的 功能 。 例 如 ，MapReduce 编程 模型 为 科学 家 提供 了 一 个 非 珊 向 
单 而 有 效 的 模型 ， 来 构建 处 理 大 数据 集 的 应 用 程序 。 因 此 ， 它 已 被 广泛 地 用 于 开发 数据 密集 
型 科学 应 用 。 知 计算 模型 的 结构 方面 需要 更 高 程度 的 弹性 ， 可 以 利用 Aneka 平台， 它 文 持 
MapReduce 和 其 他 编程 模型 。 下 面 讨 论 在 Aneka 中 已 经 使 用 的 一 些 有 趣 的 案例 。 


10.1.1 医疗 保健 : 云 心电图 分 析 


医疗 保健 是 计算 机 技术 的 应 用 领域 之 一 ， 从 支持 业务 功能 到 协助 科学 家 开发 疾病 治愈 方 
案 。 一 个 重要 的 应 用 是 利用 云 技术 为 医生 提供 更 有 效 的 诊断 过 程 ， 特 别 是 云 计算 环境 下 的 心 
电 图 (ECG) 数据 分 析 [160] 。 

随 着 互联 网 的 普及 ， 任 何 时候 从 任何 设备 都 可 访问 的 特性 ， 使 云 技 术 成 为 开发 健康 监 
测 系统 的 一 个 有 吸引 力 的 选择 。 很 自然 地 ，ECG 数据 分 析 和 监测 成 为 适合 这 个 情形 的 案例 。 
ECG 是 心脏 的 心肌 收缩 活动 的 电子 体现 ， 这 项 活动 产生 一 个 特定 的 波形 ， 波 形 随 着 时 间 的 
推移 重复 ， 表 示 心 跳 。ECG 波形 的 形状 分 析 是 用 来 识别 心律 失常 和 检测 心脏 疾病 的 最 常见 
方式 。 云 计算 技术 可 远程 监控 病人 的 心跳 数据 ， 在 最 短 的 时 间 内 分 析 数 据 ， 如 果 这 些 数据 有 
潜在 的 危险 则 通知 急救 人 员 和 医生 。 病 人 通过 不 断 监测 ， 不 去 医院 就 可 以 进行 心电图 分 析 。 
与 此 同时 ， 医 生 和 急救 人 员 可 以 即时 获得 他 们 关注 的 信息 。 

支持 远程 心 电 监护 的 基础 设施 和 模型 如 图 10-1 所 示 。 配 备 了 心电图 传感器 的 可 穿戴 计 
算 设备 不 断 地 监测 病人 的 心跳 ， 这 些 信息 被 发 送 到 患者 的 移动 设备 ， 最 终 转发 到 云 托管 Web 
服务 以 供 分 析 。Web 服务 形成 了 完全 托管 在 云 平台 的 前 端 ， 并 且 充 分 利用 了 三 层 云 计 算 堆栈 : 
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SaaS, PaaS 和 laaS. Web 服务 构成 了 SaaS 应 用 程序 ， 在 亚马逊 S3 服务 存储 心 电 数 据 ， 并 
给 可 扩展 的 云 平台 发 出 处 理 请 求 。 运 行 平台 由 运行 在 工作 流 引 擎 和 Aneka 上 的 大 量 的 动态 
实例 组 成 。 工 作 流 引擎 实例 的 数量 根据 请 求 的 每 个 实例 的 队列 数目 进行 控制 ， 而 Aneka 控 
fi] EC2 实例 的 数量 ， 用 于 执行 由 工作 流 引 擎 为 单个 ECG 处 理 作 业 中 指定 的 单个 任务 。 这 些 
作业 中 的 每 个 作业 都 由 一 组 操作 组 成 ,涉及 从 心跳 数据 提取 波形 ， 并 和 参考 波形 比较 来 检测 
寞 第 的 波形 。 如 果 发 现 异常 ， 医 生 和 急救 人 员 可 以 收 到 通知 ， 对 特定 的 患者 采取 措施 。 
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图 10-1 云 在 线 健 康 监测 系统 


尽管 远程 心 电 监 护 并 不 一 定 需 要 云 技术 ,但 云 计算 提供 的 优势 是 其 他 技术 很 难 实现 的 。 
第 一 个 优势 是 云 基 础 设施 具有 弹性 ， 根 据 服 务 请 求 可 以 增 大 和 缩小 。 这 样 ， 医 生 和 医院 不 必 
规划 容量 后 投资 大 量 计算 基础 设施 ， 从 而 更 有 效 地 利用 预算 。 第 二 个 优势 是 无 处 不 在 。 现 在 
的 云 计算 技术 已 经 成 为 容易 访问 且 保 证 在 最 短 时 间或 没有 停机 时 间 的 发 布 系 统 。 托 管 在 云 的 
计算 系统 可 以 从 任何 网 络 设备 通过 简单 的 接口 (如 SOAP 和 基于 REST 的 Web 服务 ) 访问 。 
这 使 得 云 系统 不 仅 普遍 存在 ， 而 且 可 以 很 容易 地 与 保存 在 该 医院 的 其 他 系统 集成 。 最 后 ， 医 
疗 保健 中 使 用 云 技术 的 另 一 原因 是 节约 成 本 。 云 服务 定价 按 使 用 时 间 计 算 费 用 ， 大 量 的 服务 
请 求 按 量 定价 。 这 两 款 模式 提供 了 一 套用 于 定价 服务 的 灵活 选择 ， 实 际 上 收费 成 本 是 基于 有 
效 使 用 ， 而 不 是 建设 成 本 。 


10.1.2 ”生物 学 : 蛋白 质 结构 预测 ~ 


生物 学 中 的 应 用 往往 需要 较 高 的 计算 能 力 ， 并 经 常 在 大 数据 集 上 进行 大 量 的 IO 操作 。 
所 以 生物 学 的 应 用 程序 经 常 广泛 使 用 超级 计算 和 集群 计算 基础 设施 。 类 似 的 功能 以 动态 方式 
按 需 使 用 云 计 算 技 术 ， 从 而 开辟 生物 信息 学 应 用 的 新 机 过 。 
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蛋白 质 结构 预测 是 一 种 计算 密集 型 的 任务 ， 是 生命 科学 领域 不 同类 型 研究 的 基础 ， 其 中 
之 一 是 为 治疗 疾病 设计 新 的 药物 。 蛋 白质 的 几何 结构 不 能 从 构成 其 结构 的 基因 序列 直接 推断 
出 ， 它 是 复杂 计算 的 结果 ， 目 的 是 确定 所 需要 能 量 最 小 的 结构 。 此 任务 需要 研究 数量 庞大 的 
状态 空间 ， 从 而 为 每 个 状态 进行 大 量 的 计算 。 和 有 蛋白质 结构 预测 所 需 的 计算 能 力 现在 可 以 按 需 
获取 ， 不 需要 拥有 集群 或 跨越 政府 部 门 访问 并 行 和 分 布 式 计算 设施 。 云 计算 允许 按 用 量 付费 
来 使 用 这 种 基础 设施 。 

使 用 云 技术 的 和 蛋白质 结构 预测 项 目 之 一 是 Jeeva [161j] 一 一 一 个 集成 的 Web 门户 网 站 ， 
使 科学 家 能 够 将 预测 任务 转移 到 一 个 基于 Aneka 的 计算 云 ( 见 图 10-2 )。 预 测 任务 使 用 机 器 
学 习 技术 (支持 向 量 机 ) 确定 蛋白 质 的 二 级 结构 。 这 些 技术 将 问题 转变 成 模式 识别 ， 其 中 一 
个 序列 已 被 分 类 成 三 种 可 能 的 类 型 (E、H 和 C) 之 一 。 一 种 常见 的 实现 是 基于 支持 向 量 机 
的 ， 把 模式 识别 问题 划分 为 三 个 阶段 : 初始 阶段 、 分 类 阶段 和 终止 阶段 。 即 使 这 三 个 阶段 按 
顺序 执行 ， 在 分 类 阶段 也 能 利用 并 行 执行 的 优点 ， 让 多 个 分 类 器 并 发 执行 ， 可 以 明显 地 降低 
预测 的 计算 时 间 。 然 后 将 预测 算法 转换 成 一 个 任务 图 提交 到 Aneka， 一 旦 完成 任务 ， 用 户 可 
通过 门户 查看 由 中 间 件 提供 的 结果 。 
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图 10-2 Jeeva 门户 架构 概览 


使 用 云 技术 〈 即 Aneka 作为 可 扩展 的 云 中 间 件 ) 相 比 传统 网 格 基 础 设施 的 优点 是 : 可 扩 
展 的 计算 基础 设施 能 根据 需求 增加 和 和 缩小。 这 个 概念 是 云 技术 特有 的 ， 当 应 用 程序 作为 服务 
提供 和 交付 时 ， 它 就 成 为 一 项 战略 优势 。 


10.1.3 生物 学 : BARA AF MESS A 


基因 表达 谱 是 数 千 种 基因 的 表达 水 平 的 一 次 测量 ， 用 于 分 析 药 物 治疗 在 细胞 层 引 发 的 生 
物 学 过 程 。 连 同 蛋白 质 结构 预测 ， 此 党 动 是 药物 设计 的 一 个 基本 组 成 部 分 ， 它 使 科学 家 可 以 
识别 特定 的 治疗 效果 。 

基因 表达 谱 的 另 一 个 重要 应 用 是 癌症 的 诊断 和 治疗 。 癌 症 的 特点 是 细胞 的 生长 和 扩散 不 
受 控制 ， 原 因 是 基因 调节 细胞 生长 发 生变 异 ， 这 意味 着 所 有 癌症 细胞 中 都 含有 突 恋 基因。 在 
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这 种 情况 下 ， 基 因 表 达 谱 可 以 用 来 提供 更 精确 的 肿瘤 分 类 。 把 基因 表达 数据 样本 分 类 成 不 同 
的 类 别 是 一 项 具有 挑战 性 的 任务 。 典 型 的 基因 表达 数据 集 的 维 数 范围 从 几 千 到 几 万 基因 。 然 
而 ,通常 只 有 小 样本 量 可 用 于 分 析 。 

这 个 问题 经 常 和 分 类 学 习 相 关 ， 产 生 条 件 - 活动 规则 的 种 群 来 指导 分 类 处 理 。 其 中 ， 
扩展 分 类 系统 (XCS) 已 成 功 地 在 生物 信息 学 和 计算 机 科学 领域 用 于 分 类 大 型 数据 集 。 然 而 ， 
当面 临 高 维 数据 集 (例如 微 阵列 基因 表达 数据 集 ) 时 ，XCS 的 有 效 性 并 未 得 到 详细 探讨 。 这 
种 算法 的 一 个 变种 CoXCS [162] ， 已 证 明 能 有 效 地 解决 这 个 问题 。CoXCS 将 整个 搜索 空间 
划分 成 子 域 ， 并 在 每 个 子 域 采 用 标准 的 XCS 算法 。 这 样 的 处 理 是 计算 密集 型 的 ， 但 很 容易 
并 行 化 ， 因 为 子 域 的 分 类 问题 可 以 并 发 解决 。 云 CoXCS ( 见 图 10-3) 是 CoXCS 基于 云 计 算 
的 实现 ，Aneka 以 并 行 方 式 解 决 分 类 问题 并 将 结果 组 合 起 来 。 该 算法 由 策略 控制 ， 定 义 结果 
的 组 合 方法 和 该 进程 是 否 需 要 迭代 。 
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图 10-3 3 CoXCS: 云 上 的 微 阵列 数据 处 理 


因为 XCS 的 动态 特性 ， 所 以 要 求 执 行 的 计算 资源 的 数量 可 以 随时 间 变 化 。 因 此 ， 使 用 
可 扩展 的 中 间 件 (如 Aneka) 具有 独特 的 优 热 。 


10.1.4 地球 科 学 : 卫星 图 像 处 理 


地 球 科学 应 用 程序 收集 、 制 作 和 分 析 地 理 空间 和 非 空间 的 海量 数据 。 随 着 技术 的 进步 和 
星球 变 得 更 加 仪器 化 (通过 部 署 传 感 带 和 卫星 监测 )， 需 要 加 以 处 理 的 数据 量 显著 增加 。 特 
别 地 ， 地 理 信息 系统 ( GIS) 是 地 球 科 学 应 用 的 主要 组 件 。GIS 应 用 系统 采集 、 存 储 、 处 理 、 
分 析 、 管 理 和 呈现 所 有 类 型 的 地 理 空间 参考 数据 。 现 在 这 种 类 型 的 信息 和 各 种 应 用 领域 越 来 
越 相 关 : 从 先进 的 农业 到 民事 安全 和 自然 资源 管理 。 结 果 是 ， 相 当 数 量 的 地 理 参考 数据 被 摄 
取 到 计算 机 系统 中 进行 进一步 的 处 理 和 分 析 。 为 了 执行 这 些 苛刻 的 任务 并 提取 有 意义 的 信息 
来 支持 决策 者 ， 云 计算 是 一 种 有 吸引 力 的 选择 。 

卫星 遥感 产生 数 几 百 吉 字 节 原 始 图 像 ， 需 要 进一步 加 工 变 成 几 种 不 同 的 GIS 产品 的 基 
础 。 这 个 过 程 既 要 求 IO 也 要 求 计 算 密 集 型 任务 。 大 图 像 需要 从 一 个 地 面 站 的 本 地 存储 迁移 
到 计算 设备 ， 应 用 几 次 转换 和 校正 。 云 计算 提供 恰当 的 基础 设施 支持 这 样 的 应 用 场景 。 这 
种 基于 云 实现 的 工作 流程 已 经 由 印度 政府 航天 部 开发 出 来 了 [163]。 如 图 10-4 所 示 的 系统 
在 整个 计算 栈 集成 了 多 种 技术 。SaaS 应 用 程序 为 这 种 任务 提供 一 系列 服务 ， 如 地 理 编 码 生 
成 和 数据 可 视 化 。 在 PaaS 层 ，Aneka 控制 数据 导 人 虚拟 化 基础 设施 和 图 像 处 理 任 务 的 执行 ， 
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即 从 原始 卫星 图 像 生成 所 期 望 的 结果 。 该 平台 利用 Xen 私有 云 和 Aneka 技术 根据 需求 动态 
地 提供 所 需 的 资源 ( 即 增 大 或 缩小 )- 





| 门户 (SaaS) | 


公共 云 “] e 
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A104 一 个 卫星 数据 处 理 的 云 环 境 


该 项 目 证 明了 云 计算 技术 如 何 有 效 地 将 过 多 的 工作 负荷 从 本 地 计算 设备 转移 ， 并 充分 利 
用 更 有 弹性 的 计算 基础 设施 - 


10.2 ”商业 和 消费 应 用 


商业 和 消费 是 最 可 能 从 云 计算 技术 受益 的 领域 。 一 方面 ， 对 以 IT 为 中 心 的 所 有 企业 来 
说 ， 能 将 建设 成 本 转化 为 运营 成 本 ， 云 是 一 项 有 吸引 力 的 选择 。 田 一 方面 ， 从 普遍 意义 上 
说 ， 云 提供 数据 和 服务 访问 ， 使 得 终端 用 户 也 对 它 有 兴趣 .此 外 ， 云 技术 的 弹性 性 质 并 不 需 
要 巨大 的 前 期 投资 ， 新 的 想法 能 迅速 转化 为 产品 和 了 服务， 并 根据 需求 增长 。 这 些 因素 使 云 计 
算 成 为 首选 技术 ， 适 用 于 大 范围 的 应 用 程序 ， 从 CRM 和 ERP 系统 到 生产 类 型 和 社交 网 络 型 
应 用 程序 。 


10.2.1 CRM 和 ERP 


在 云 中 ， 客 户 关系 管理 (CRM) 和 企业 资源 规划 (ERP) 应 用 程序 是 两 个 攻 勃 发 展 的 
市 场 方向 ， 其 中 CRM 应 用 更 为 成 熟 。 云 CRM 应 用 程序 对 小 企业 和 刚 起 步 的 企业 而 言 是 一 
个 大 好 机 会 ， 因 为 有 功能 齐全 的 CRM 软件 ， 无 需 大 量 的 前 期 成 本 ， 只 需 定 期 付费 。 此 外 ， 
CRM 不 需要 指定 特定 需求 ， 它 可 以 很 容易 地 转移 到 云 。 这 样 的 特性 ， 再 加 上 从 世界 各 地 的 
任何 设备 访问 企业 的 业务 和 客户 数据 的 可 能 性 ， 共 同 促进 了 云 CRM 应 用 的 传播 。 云 上 的 
ERP 解决 方案 不 太 成熟 ， 必 须 与 完善 的 企业 内 部 解决 方案 竞争 。ERP 系统 整合 企业 的 几 个 
AW: 财务 及 会 计 、 人 力 资源 、 生 产 制造 、 供 应 链 管 理 、 项 目 管理 和 CRM。ERP 的 目标 是 
为 所 有 操作 提供 一 个 统一 的 视图 和 访问 ， 以 维持 一 个 复杂 的 组 织 。 因 为 目标 是 组 织 机 构 、 所 
以 ERP 过 渡 到 基于 云 的 模型 是 比较 困难 的 : 长 期 的 成 本 优势 可 能 不 是 很 清楚 ， 如 果 组 织 机 
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构 已 经 拥有 大 型 ERP， 将 其 转移 到 云 可 能 是 困难 的 。 出 于 这 个 原因 ， 目 前 云 计算 ERP 解决 
方案 没有 CRM 解决 方案 普及 。 

1. Salesforce.com 

Salesforce.com 可 能 是 目前 最 流行 和 最 先进 的 CRM 解决 方案 ， 有 10 多 万 客户 选择 
Safesforce.com 实施 他 们 的 CRM 解决 方案 。 该 应 用 程序 提供 定制 的 CRM 解决 方案 ， 可 与 第 
三 方 开发 的 附加 功能 集成 。Salesforce.com 基于 Force.com 云 开 发 平台 ， 这 代表 了 可 扩展 性 
和 高 性 能 的 中 间 件 能 执行 所 有 Salesforce.com 应 用 程序 的 所 有 操作 。 

Force.com 平台 的 架构 如 图 10-5 所 示 。 该 平台 最 初 设 计 为 支持 可 扩展 的 CRM 应 用 ， 通 
过 实施 灵活 的 、 可 扩展 的 基础 设施 ， 已 经 演化 到 能 支持 大 量 云 应 用 的 整个 生命 周期 。 该 平台 
的 核心 在 于 其 元 数据 架构 ， 它 为 系统 提供 灵活 性 和 可 扩展 性 ， 而 不 是 建立 在 特定 的 组 件 和 表 
之 上 。 应 用 程序 的 核心 逻辑 和 业务 规则 作为 元 数据 保存 到 Force.com 存储 。 应 用 程序 的 结构 
和 应 用 程序 数据 存储 在 存储 区 中 。 运 行 时 引擎 通过 检索 元 数据 执行 应 用 程序 逻辑 ， 然 后 在 数 
据 上 执行 操作 。 虽然 在 隔离 容 需 运行 ， 但 不 同 的 应 用 逻辑 上 共享 相同 的 数据 库 结构 ， 运 行 时 
引擎 一 致 地 执行 所 有 的 应 用 程序 。 全 文 搜索 引擎 文 持 运行 时 引擎 。 尽 管 有 大 量 数据 需要 被 抓 
取 ， 但 这 使 得 应 用 程序 的 用 户 获 得 有 效 的 用 户 体验 。 搜 索引 擎 在 一 个 单独 的 存储 空间 维护 其 
索引 数据 ， 并 通过 用 户 交 互 触发 后 台 进 程 不 断 更 新 。 





/村 多 租户 感知 的 查询 
hy ea 


of 。 运行 时 应 用 程序 |) ， 
wo è 生成 器 ! 
a sxagais | | 
“l | ! 








“een owen ean eee ew eer ee nnn 


应 用 3 
图 10-5 Salesforce.com 和 Force.com 架构 


用 户 可 以 通过 “本 地 ”Force.com 应 用 框架 或 在 最 流行 的 编程 语言 中 使 用 编程 API 定制 
应 用 程序 。 应 用 程序 框架 允许 用 户 可 视 化 地 定义 数据 或 者 一 个 Force.com 应 用 程序 的 核心 结 
构 ， 而 编程 API 提供 了 开发 应 用 程序 的 更 传统 的 方式 ， 即 应 用 程序 依赖 于 Web 服务 与 平台 
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交互 。 应 用 程序 和 逻辑 的 定制 也 可 以 通过 在 APEX 开发 脚本 来 实现 。 这 是 一 个 类 似 Java 的 
语言 ， 它 提供 面向 对 象 和 过 程 的 功能 来 定义 按 需 的 脚本 或 触发 器 。APEX 还 提供 了 表达 搜索 
和 查询 的 功能 ， 以 完整 地 访问 Force.com 平台 管理 的 数据 。 

2. 微软 动态 CRM 

微软 动态 CRM 是 微软 为 客户 关系 管理 实施 的 解决 方案 。 动 态 CRM 可 在 企业 场所 安装 
或 作为 按 每 月 每 用 户 订阅 定价 的 在 线 解 决 方案 。 

该 系统 完全 托管 在 世界 各 地 的 微软 数据 中 心 ， 提 供给 客户 的 SLA 达到 99.9%， 如 有 果 系 统 
不 履行 协议 将 给 用 户 优惠 。 每 个 CRM 的 实例 在 一 个 单独 的 数据 库 部 署 ， 应 用 程序 为 用 户 提 
供 了 市 场 、 销 售 以 及 先进 的 CRM 设施 。 动 态 CRM Online 的 功能 可 以 通过 Web 浏览 器 界面 
访问 ， 也 可 以 通过 SOAP 编程 方式 和 RESTful Web 服务 进行 访问 。 这 使 得 动态 CRM 可 以 很 
容易 地 与 其 他 微软 产品 和 行业 应 用 和 集成。 动态 CRM 可 以 通过 开发 插件 进行 扩展 ， 插 件 可 执 
行 触发 给 定 事件 发 生 的 给 定 行 为 。 动 态 CRM 还 可 以 利用 Windows Azure 开发 和 集成 新 功能 。 

3. NetSuite 

NetSuite 公司 提供 一 系列 应 用 程序 ， 帮 助 客户 管理 企业 的 每 个 环节 。 其 产品 分 为 三 大 系 
列 : NetSuite 全 球 ERP AH. NetSuite 全 球 CRM+ 和 NetSuite 全 球 电 子 商务 。 此 外 ， 集 所 
有 功能 于 一 身 的 解决 方案 NetSuite One World 集成 了 所 有 三 种 产品 。 

NetSuite 提供 的 服务 由 美国 东西 海岸 的 两 个 大 数据 中 心 通过 元 余 链 路 连接 供电 。 这 使 
NetSuite 能 向 客户 保证 99.5% 的 正常 运行 时 间 。 除 了 预 封装 的 解决 方案 ，NetSuite 还 提供 了 
基础 设施 和 开发 环境 ， 实 现 应 用 程序 的 定制 。NetSuite 商业 操作 系统 (NS-BOS) 是 一 组 完整 
堆栈 技术 ， 充 分 利用 NetSuite 产品 的 功能 构建 Saas 业务 应 用 程序 。 在 SaaS 基础 设施 之 上 ， 
NetSuite 商业 套装 组 件 提供 会 计 、ERP、CRM 和 电子 商务 功能 。 在 线 开 发 环境 SuiteFlex 能 
将 此 种 功能 集成 到 新 的 Web 应 用 程序 ， 然 后 由 SuiteBundler 打包 进行 发 布 。 整 个 基础 设施 
托管 在 NetSuite 数据 中 心 ， 提 供 有 关 应 用 程序 的 正常 运行 时 间 和 可 用 性 的 保证 。 


10.2.2 ”效率 型 应 用 


效率 型 应 用 程序 在 云 中 复制 一 些 我 们 在 桌面 上 执行 的 最 常见 的 任务 : 从 文件 存储 到 办 公 
自动 化 和 托管 在 云 中 完整 的 桌面 环境 。 

1. Dropbox 和 iCloud 

云 计 算 的 一 个 核心 功能 是 任何 地 方 、 任 何 时 间 、 任 何 连接 到 因特网 的 设备 都 可 用 。 因 
此 ， 这 样 的 技术 使 文档 存储 成 为 一 个 自然 的 应 用 。 在 线 存储 解决 方案 在 云 计 算 之 前 就 有 ， 但 
没有 普及 。 随 着 云 技术 的 发 展 ， 在 线 存 储 解 决 方案 已 经 变 成 了 SaaS 应 用 程序 ， 变 得 更 加 实 
用 、 先 进 和 方便 。 

对 于 在 线 文档 存储 ， 最 流行 的 解决 方案 也 许 是 Dropbox. Dropbox 是 一 个 在 线 应 用 程序 
允许 用 户 通 过 无 缝 的 方式 在 任何 平台 和 任何 设备 同步 任何 文件 ( 见 图 10-6 )。Dropbox 通过 对 
文件 夹 的 抽象 访问 为 用 户 提供 免费 存储 量 。 用 户 可 以 访问 Dropbox 文件 夹 ， 通 过 浏览 器 或 下 载 
安装 Dropbox 客户 端 ， 利用 一 个 特殊 的 文件 夹 访问 在 线 存储 。 所 有 对 这 个 文件 夹 的 修改 是 悄然 
同步 的 ， 因 此 修改 会 通知 所 有 设备 Dropbox 文件 夹 中 的 所 有 本 地 实例 。Dropbox 的 主要 优点 是 
它 在 不 同 平台 (Windows, Mac, Linux 和 移动 平台 ) 的 可 用 性 和 无 锋 透 明 跨 平台 工作 的 能 力 。 

在 这 方面 的 另 一 个 有 趣 的 应 用 是 iCloud， 苹 果 公 司 提供 的 基于 云 的 文件 共享 应 用 程序 以 
完全 透明 的 方式 同步 iOS 设备 。 与 Dropbox 不 同 ， 它 通过 一 个 本 地 文件 夹 的 抽象 提供 同步 ， 
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HRE, icloud 便 完 全 透明 。 更改 文 档 、 照 片 和 视频 时 自动 同步 ， 没 有 任何 显 式 的 操作 。 
这 使 得 该 系统 能 够 有 效 地 自动 执行 常见 操作 ， 而 无 需 任何 人 为 干预 ， 用 iPhone 拍 一 张 照 片 ， 
它 会 目 动 地 出 现在 家 里 Mac 的 iPhoto 里 ; 在 家 里 用 iMac 电脑 编辑 文档 , iPad 便 可 自动 更 新 。 
遗憾 的 是 ， 这 种 功能 仅 限 于 iOS 设备 ， 目 前 没有 计划 提供 iCloud 与 基于 Web 的 接口 ， 不 支 
持 的 平台 无 法 访问 用 户 内 容 。 
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图 10-6 Dropbox 使 用 场景 


在 线 文件 共享 还 有 其 他 的 解决 方案 ，Windows Live, 134 Cloud Drive 和 CloudMe 都 
是 很 受 欢 迎 的 ， 本 节 没 有 涉及 。 这 些 解决 方案 提供 的 功能 与 我 们 已 经 讨论 过 的 多 少 有 些 相 
同 ， 只 是 在 平台 和 设备 之 间 的 集成 层次 不 同 。 

2. 谷歌 Docs 

Sik Docs 是 一 个 SaaS 应 用 程序 ， 它 提供 了 基本 的 办 公 自 动 化 功能 ， 支 持 在 Web 上 协 
同 编辑 。 该 应 用 程序 在 谷歌 分 布 式 计算 基础 设施 的 顶部 执行 ， 这 使 得 系统 能 够 根据 使 用 该 服 
务 的 用 户 数量 动态 扩展 。 

谷歌 Docs 允许 用 户 创建 和 编辑 文本 文档 、 电 子 表格 、 演 示 文 稿 、 表 格 和 图 。 它 的 目标 是 
取代 台式 产品 ， 如 微软 Office 和 OpenOffice， 提 供 类 似 的 界面 和 功能 的 云 服 务 。 对 该 套件 中 
包含 的 大 多 数 应 用 程序 ， 它 支持 在 Web 上 协同 编辑 。 这 消除 了 当 文 件 需要 由 多 个 用 户 进行 编 
辑 时 繁琐 的 收发 电子 邮件 和 同步 任务 。 通 过 在 谷歌 基础 设施 上 存储 ， 对 于 任何 地 方 以 及 从 连 
接 到 互联 网 的 任何 装置 ， 这 些 文件 始终 可 以 使 用 。 此 外 ， 如 果 互 联网 连接 不 可 用 ， 该 套件 文 
持 用 户 脱 机 工作 。 和 谷歌 Docs 支持 多 种 格式 ， 如 那些 最 流行 的 桌面 办 公 解 决 方案 产生 的 格式 ， 
使 用 户 能 够 轻松 地 导 人 和 导出 谷歌 Docs 文档 ， 从 而 消除 了 使 用 这 种 应 用 程序 的 障碍 。 

谷歌 Docs 是 云 计算 可 以 提供 给 最 终 用 户 的 一 个 很 好 的 例子 : 获取 资源 无 处 不 在 、 弹 性 、 
免 安 装 、 免 维护 成 本 ， 及 核心 功能 作为 服务 发 布 。 

3. 云 桌 面 : EyeOS 和 XIOS / 3 

异步 JavaScript 和 XML ( AJAX) 技术 已 经 大 大 增强 了 Web 应 用 程序 能 实现 的 功能 。 这 
是 云 计算 通过 Web 浏览 器 提供 的 大 量 服务 中 的 一 个 基本 方面 。 加 上 大 规模 存储 和 计算 的 使 
用 ， 这 项 技术 已 使 通过 Web 浏览 器 在 云 中 复制 复杂 的 桌面 环境 成 为 可 能 。 这 些 称 为 云 桌 面 
的 应 用 程序 正在 迅速 普及 开 来 。 
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EyeOSS 是 基于 云 技术 的 最 流行 的 Web 桌面 解决 方案 之 一 。 它 复制 了 经 典 桌 面 环 境 的 
功能 ， 并 为 最 常见 的 文件 和 文件 管理 任务 预 安装 了 应 用 程序 ( 见 图 10-7 )。 单 个 用 户 可 以 在 
任何 地 方 通过 任何 联网 设备 访问 EyeOS 的 桌面 环境 ， 而 企业 可 以 在 其 处 所 创建 一 个 私有 的 
EyeOS 云 ， 虚 拟 员 工 的 桌面 环境 并 集中 管理 。 
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10-7 EyeOS 体系 结构 


EyeOS 的 架构 非常 简单 : 在 服务 器 端 ，EyeOS 的 应 用 程序 维护 用 户 配 置 文 件 及 其 数据 
信息 ， 客 户 端 则 是 用 户 和 管理 员 与 系统 交互 的 接 入 点 。EyeOS 存储 有 关 服 务 右 文件 系统 上 的 
用 户 和 应 用 程序 的 数据 。 一 有 旦 用 户 提 供认 证 登录 ， 果 面 环 境 便 呈 现在 客户 端的 浏览 右上 ， 这 
是 通过 下 载 构建 用 户 界面 和 实现 EyeOS 的 核心 功能 所 需 的 所 有 JavaScript 库 来 实现 的 。 在 
环境 中 加 载 的 每 个 应 用 程序 使 用 AJAX 与 服务 器 通信 。 这 种 通信 模式 用 于 访问 用 户 数据 ， 以 
及 执行 应 用 程序 操作 : 编辑 文件 、 可 视 化 图 像 、 复 制 和 保存 文件 、 发 送 电子 邮件 和 聊天 。 

EyeOS 还 提供 了 API， 用 于 开发 新 的 应 用 和 在 系统 中 集成 新 的 功能 。EyeOS 应 用 程序 的 
服务 器 端 组 件 至 少 由 两 个 文件 (存储 在 eyeos/apps/appname 目录 ) 所 定义 : appname.php 和 
appname.js。 第 一 个 文件 定义 和 实现 了 所 有 应 用 程序 公开 的 操作 ; JavaScript 文件 包含 需要 
在 浏览 右 中 加 载 的 代码 ， 以 供用 户 和 应 用 程序 交互 。 

Xcerion XML Internet OS/3 ( XIOS/3 ) 是 另 一 个 Web 桌面 环境 的 例子 。 服 务 作 为 
CloudMe 应 用 程序 的 一 部 分 发 布 ，CloudMe 是 一 个 云 文件 存储 解决 方案 。XIOS/3 与 其 他 服 
务 的 主要 区 别 是 其 XML 强大 的 影响 力 ， 它 实现 了 许多 操作 系统 的 任务 : 绘制 用 户 界 面 、 定 
义 应 用 程序 的 业务 逻辑 、 结 构 化 文件 系统 的 组 织 甚至 应 用 程序 开发 。0S 架构 在 客户 端 集中 
工大 部 分 功能 ， 由 XML Web 服务 实施 基于 服务 器 的 功能 。 在 客户 端 呈 现 用 户 界面 、 安 排 流 
程 、 提 供 XML 数据 的 数据 绑 定 功能 ， 该 功能 通过 Web 服务 交换 XML 数据 。 服 务 器 负责 实 
现 核心 功能 ， 例 如 协作 模式 文档 编辑 事务 管理 和 在 环境 中 安装 应 用 程序 的 核心 逻辑 。XIOS/3 
还 提供 了 一 个 环境 ， 用 于 开发 应 用 程序 (XIDE)， 它 允许 用 户 通过 可 视 化 工具 快速 开发 复杂 
的 应 用 程序 ， 用 于 用 户 界 面 和 XML 业务 逻辑 文档 。 


© www.eyeos.org. 
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XIOS/3 作为 开源 软件 发 布 ， 实 现 了 一 个 交易 市 场 ， 第 三 方 可 以 轻松 地 部 署 应 用 程序 ， 
将 其 安装 在 虚拟 桌面 环境 的 顶部 。 它 可 以 开发 任何 类 型 的 应 用 程序 ， 并 提供 通过 XML Web 
服务 访问 的 数据 : 开发 人 员 必 须 定 义 用 户 界面 ， 绑 定 UI 组 件 到 服务 调用 和 操作 ， 并 提供 数 
据 处 理 逻 辑 。XIDE 将 这 些 信息 打包 到 一 个 适当 的 XML 文档 集 ， 其 余 的 将 在 XIOS 实现 一 
个 XML 的 虚拟 机 来 执行 。 

XIOS/3 是 一 个 先进 的 Web 桌面 环境 ,通过 基于 XML 的 服务 致力 于 将 服务 整合 到 环境 
中 ， 简 化 同伴 的 协作 。 


10.2.3 社交 网 络 


过 去 几 年 ， 社 交 网 络 应 用 程序 大 幅度 增长 ， 成 为 网 络 上 最 活跃 的 网 站 。 为 了 维持 通信 ， 
无 颖 地 服务 数 百 万 用 户 ，Twitter 和 Facebook 等 服务 已 经 利用 了 云 计算 技术 。 而 系统 运行 中 
不 断 增 加 容量 的 可 能 性 是 社交 网 络 最 吸引 人 的 特点 ， 这 使 得 网 站 的 用 户 群 不 断 增加 。 

1. Facebook 

Facebook 可 能 是 最 出 名 和 最 有 趣 的 社交 网 络 环境 。 它 拥有 超过 800 万 用 户 ， 已 成 为 世 
罕 上 最 大 的 网 站 之 一 。 为 了 维持 令 人 难以 置信 的 增长 ，Facebook 的 首要 工作 是 不 断 增加 容 
量 和 开发 新 的 可 扩展 的 技术 和 软件 系统 ， 同 时 保持 较 高 的 性 能 以 确保 流畅 的 用 户 体验 。 

目前 ， 社 交 网 络 有 两 个 数据 中 心 备 份 ， 这 两 个 数据 中 心 已 通过 优化 来 减少 成 本 和 对 环境 的 
影响 。 在 这 种 高 效 的 基础 设施 之 上 ， 又 建造 和 设计 了 廉价 的 硬件 ， 利 用 适当 修改 和 完善 的 开源 
技术 ， 完 全 目 定 义 的 协议 栈 构成 了 最 大 的 社交 网 络 的 后 台 。 综 合 起 来 ， 这 些 技术 构成 了 一 个 开 
发 云 应 用 程序 的 强大 的 平台 。 该 平台 主要 支持 Facebook 自身 ， 也 提供 API 整合 第 三 方 应 用 程 
序 与 Facebook 的 核心 基础 设施 ， 以 提供 额外 的 服务 ， 如 社交 游戏 和 其 他 人 创建 的 线 上 测验 。 

Facebook 的 参考 模型 栈 基于 LAMP (Linux, Apache, MySQL 和 PHP)。 这 组 技术 又 结合 
了 内 部 开发 的 其 他 一 系列 服务 ， 这 些 服务 由 不 同 的 语言 开发 ， 实 现 搜索 、 新 闻 、 通 知 等 具体 功 
能 。 当 处 理 页 面 请 求 时 ， 用 户 的 社交 图 就 形成 了 。 社 交 图 以 相互 关联 的 一 组 信息 标识 ， 与 给 定 
用 户 相 关 。 大 部 分 的 用 户 数 据 由 查询 MySQL 实例 的 分 布 式 集群 获得 ，MySQL 实例 大 多 包含 
HE -~ 值 对 。 然 后 这 些 数据 被 缓存 以 便 快速 检索 。 相 关 信 息 的 其 余部 分 ， 使 用 前 面 提 到 的 服务 组 
合 在 一 起 。 这 些 服务 在 位 置 上 更 接近 数据 ， 而 且 多 语言 开发 提供 了 比 PHP 更 好 的 性 能 。 

一 组 内 部 开发 的 工具 使 服务 开发 更 方便 。 其 中 Thrift 是 一 个 核心 元 素 ， 它 是 抽象 (和 语 
言 绑 定 ) 的 集合 ， 人 允许 跨 语言 开发 。Thrift 能 用 不 同 的 语言 开发 服务 以 方便 通信 和 交换 数据 。 
不 同 语言 绑 定 的 Thrift 可 处 理 数据 序列 化 和 反 序列 化 、 通 信 、 客 户 端 和 服务 器 的 样板 代码 。 
这 简化 了 开发 人 员 的 工作 ， 能 够 实现 快速 原型 服务 ， 并 充分 利用 现 有 服务 。 其 他 的 相关 服务 
和 工具 是 Scribe， 它 汇集 流 日 志 作 为 输入 、 应 用 程序 报警 和 监控 。 


10.2.4 ”媒体 应 用 


媒体 应 用 程序 是 一 个 有 利 可 图 的 市 场 ， 它 利用 云 计算 技术 获得 了 相当 的 优势 。 特 别 是 视 
频 处 理 操作 ， 如 编码 、 转 码 、 合 成 和 泻 染 ， 更 适合 采用 云 计 算 环境 。 这 些 计算 密集 型 任务 可 
以 很 容易 地 转移 到 云 计算 基础 设施 完成 。 

1. Animoto 


Animoto 引 也 许 是 云 媒体 应 用 中 最 流行 的 例子 。 该 网 站 为 用 户 提供 了 一 个 非常 简单 的 接 
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口 ， 用 于 快速 创建 视频 ， 由 用 户 提 交 图 像 、 音 乐 和 视频 片段 。 用 户 选择 一 个 视频 的 特定 主 
题 ， 上 传 照 片 和 视频 ， 并 规定 它们 的 出 现 顺 序 ， 选 择 歌曲 作为 配乐 ， 然 后 演 染 视频 。 该 过 程 
是 在 后 台 执 行 的 ,一旦 演 染 视频 完成 ， 便 通过 电子 邮件 通知 用 户 。 
Animoto 的 核心 价值 是 能 快速 制作 效果 出 众 的 视频 ， 而 无 需 用 户 干预 。 一 个 专门 的 人 工 
智能 (AL) 引擎 根据 图 片 和 音乐 选择 动画 和 过 渡 效 果 以 驱动 泻 染 操作 ， 用 户 只 需要 按 所 需 的 
顺序 组 织 图片 和 视频 来 定义 脚本 。 如 果 用 户 不 喜欢 该 结果 ， 视 频 可 以 再 次 泻 染 ， 引 警 会 选择 
366] ”不 同 的 组 合 ， 从 而 每 次 都 产生 不 同 的 结果 。 该 服务 允许 用 户 免费 创建 30 秒 的 视频 。 通 过 按 
月 或 按 年 支付 订阅 ， 可 以 产生 任意 长 度 的 视频 ， 且 可 供 选择 的 模板 更 广泛 。 
支持 Animoto 的 基础 设施 是 复杂 的 ， 它 由 不 同 的 系统 组 成 ， 且 所 有 的 系统 都 需要 扩展 
( 见 图 10-8 ) 。 其 核心 功能 是 在 亚马逊 Web 服务 基础 设施 之 上 实现 的 。 特 别 是 使 用 了 亚马逊 
EC2 作为 Web 前 端 和 工作 节点 ， 亚 马 逊 S3 用 于 存储 图 片 、 音 乐 和 视频 ， 而 亚马逊 SQS 用 
于 连接 所 有 组 件 。 该 系统 的 自动 缩放 功能 通过 RightScale 管理 ， 它 负责 监控 负载 ， 控 制 新 的 
工作 实例 的 建立 及 回收 。 前 端 节点 采集 制作 视频 所 需 的 组 件 并 将 它们 存储 在 S3 中 。 一 旦 视 
频 的 故事 板 完成 后 ， 视 频 泻 染 请求 被 输入 到 一 个 SQS 队列 。 工 作 节 点 获取 这 染 请 求 ， 并 执 
行 渲染 。 当 处 理 完成 时 ， 另 外 一 个 消息 进入 到 一 个 不 同 的 SQS 队列 ， 另 一 个 请 求 获 得 服务 . 
最 后 一 个 队列 通常 被 清除 ， 并 通知 用 户 完成 。EC2 实例 的 生命 是 由 RightScale 控制 的 ， 它 持 
续 地 监控 该 系统 的 负载 和 性 能 ， 并 决定 是 否 有 必要 增 大 或 缩小 。 
该 系统 的 架构 已 经 被 证 明 具 有 非常 大 的 可 扩展 性 和 可 靠 性 ， 通 过 使 用 多 达 4000 台 服 务 
[367] 4f, Æ EC2 的 高 峰 时 段 不 丢弃 请 求 ， 演 染 过 程 中 的 暂时 延迟 都 是 可 接受 的 。 
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图 10-8 Animoto 参考 架构 


2. 用 Aneka 实现 Maya ja xt 
在 工程 学 科 和 影视 制作 行业 也 有 有 趣 的 媒体 处 理应 用 程序 。 如 模型 泻 染 操 作 ， 现 在 是 设 
计 流程 的 一 个 组 成 部 分 ， 并 已 成 为 计算 需求 。 力 学 模型 的 可 视 化 不 仅 用 在 设计 过 程 结束 时 、 


EC2 实例 : 视频 泻 染 
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还 可 通过 反复 使 用 来 改善 设计 。 泻 染 操作 需要 尽 可 能 快 地 完成 任务 ， 云 计算 为 工程 师 提供 了 
必需 的 计算 能 力 来 实现 这 一 目标 。 

一 个 用 来 演 染 列车 设计 的 私有 云 解 决 方案 已 经 由 中 国 南车 集团 株 州 公司 实施 ( 见 图 10-9 )。 
该 部 门 负责 设计 高 速 电力 机 车 、 地 铁 车 辆 、 城 市 交通 车 辆 和 电机 列车 模型 。 设 计 过 程 中 的 原型 
要 求 高 品质 和 三 维 (3D) 图 像 。 分 析 这 些 图 像 可 以 帮助 工程 师 发 现 问 题 并 改正 自己 的 设计 。 三 
维 演 染 任 务 需 要 人 花费 大 量 的 时 间 ， 尤 其 是 在 帧 的 数量 巨大 的 情况 下 ,减少 这 些 迭 代 所 花费 的 时 
间 对 工程 部 非常 关键 。 这 个 目标 已 经 利用 云 计算 技术 实现 了 。 云 计算 技术 将 该 部 门 原来 的 桌面 
网 络 变 成 一 个 由 Aneka 管理 的 保 面 云 。 所 实现 的 系统 包括 一 个 株 州 工程 师 可 使 用 的 进入 演 染 
过 程 ( 帆 的 数目 、 摄 像 机 的 数量 以 及 其 他 参数 ) 的 所 有 细节 的 专用 客户 端 接 口 。 该 应 用 程序 将 
演 染 任务 提交 到 Aneka 云 ， 通 过 所 有 可 用 的 机 需 分 配 负载 。 每 一 个 泻 染 任务 触发 本 地 Maya 批 
泻 染 的 执行 并 收集 执行 的 结果 。 然 后 检索 该 泻 染 并 把 所 有 的 演 染 集中 起 来 可 视 化 。 
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图 10-9 私有 云 上 的 演 染 


通过 将 本 地 网 络 转换 成 私有 云 ， 它 的 资源 可 以 用 于 非 高 峰 期 ( 即 晚上 或 台式 机 没有 使 用 
时 )， 可 显著 地 减少 泻 染 过 程 中 所 花费 的 时 间 ， 使 其 从 几 天 缩短 到 几 小 时 。 

3. 云 上 视频 编码 : Encoding.com 

视频 编码 和 转 码 操作 可 以 极 大 地 从 云 技术 中 获 益 : 因为 这 些 操作 是 计算 密集 型 的 ， 并 可 
能 需要 大 量 的 存储 空间 。 此 外 ， 随 着 移动 设备 性 能 的 不 断 提高 以 及 互联 网 的 普及 ， 对 视频 内 
容 的 请 求 显著 增加 。 具 有 视频 回放 能 力 的 不 同 设 备 需要 不 同 的 视频 传播 格式 。 进 行 视频 编码 
和 转 码 的 软件 和 硬件 往往 成 本 高 昂 或 不 能 灵活 地 支持 将 任何 格式 转换 到 需要 的 任何 格式 。 目 
前 云 技术 能 将 这 些 繁 琐 而 往往 要 求 苛刻 的 任务 转换 成 服务 ， 很 容易 地 集成 到 各 种 工作 流程 ， 


或 根据 需要 提供 给 用 户 。 ` 
Encoding.com 是 一 个 软件 解决 方案 ， 提供 点 播 视 频 转 码 服务 ， 并 利用 云 计 算 技术 以 提 
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供 所 需 的 视频 转换 能 力 和 分 期 视频 存储 。 该 服务 整合 了 亚马逊 网 络 服务 技术 (EC2、S3 和 
CloudFront) 和 Rackspace ( 云 服务 器 、 云 文件 和 Limelight CDN 访问 )。 用 户 可 以 通过 多 种 
接口 访问 服务 : Encoding.com 网 站 、Web 服务 的 XML API、 桌 面 应 用 程序 和 监视 文件 夹 。 
使 用 该 服务 时 ， 用 户 必须 指定 需 转 码 视频 的 位 置 、 目 标 格 式 和 视频 的 目标 位 置 。Encoding. 
com 还 提供 了 其 他 视频 编辑 操作 ， 如 搬入 缩 略 图 、 水 印 或 标志 。 此 外 ， 它 还 扩展 支持 音频 和 
图 像 的 转换 。 

该 服务 提供 了 各 种 定价 方案 : 月 租 费 、 即 付 即 用 (分 批 ) 以 及 大 批量 的 特殊 价格 。 
Encoding.com MHA 2000 多 家 客户 ， 已 处 理 超过 10 万 个 视频 。 


10.2.5 多 人 在 线 游戏 


多 人 在 线 游戏 吸引 着 世界 各 地 的 几 百 万 玩家 ， 玩 家 们 在 超出 普通 局 域 网 范围 的 虚拟 环境 
中 一 起 玩 游戏 并 分 享 经 验 。 在 线 游戏 在 同一 时 段 可 扶持 数 百 玩 家 ， 通 过 用 于 转发 交互 的 特定 
架构 实现 ， 基 于 游戏 日 志 处 理 完成 。 玩 家 更 新 托管 游戏 的 游戏 服务 器 ， 而 服务 器 将 所 有 更 新 
集成 到 日 志 中 ， 这 样 能 通过 TCP 端口 提供 给 所 有 玩家 。 客 户 端 软件 用 于 将 游戏 连接 到 日 志 
端口 ， 通 过 读 日 志 ， 根 据 其 他 玩家 的 动作 更 新 本 地 的 用 户 界面 。 

洲 戏 日 志 处 理 用 于 建立 玩家 统计 数据 并 进行 排名 。 这 些 特征 构成 网 络 游戏 门户 网 站 吸引 
更 多 玩家 的 额外 价值 。 游 戏 日 志 的 处 理 是 一 个 潜在 的 计算 密集 型 操作 ， 在 很 大 程度 上 取决 于 
监控 的 玩家 数量 和 游戏 次 数 。 此 外 ， 游 戏 门户 网 站 是 Web 应 用 程序 ， 可 能 会 遭受 到 用 户 的 
突 发 行为 ， 随 机 产生 大 量 不 稳定 的 且 不 满足 能 力 计划 的 工作 负载 。 

使 用 云 计算 技术 可 以 提供 弹性 ， 无 颖 地 处 理 这 些 工作 负载 和 当 用 户 数 量 增加 时 所 需 的 规 
模 。 一 个 基于 云 的 游戏 日 志 处 理 原 型 已 经 由 Titan 公司 (现在 是 Xfire 公司 ) 实现 ， 其 总 部 
设 在 加 利 福 尼 亚 ， 公 司 扩展 了 游戏 门户 网 站 以 将 游戏 日 志 处 理 转 移 到 Aneka 云 。 该 原型 ( 见 
图 10-10 ) 使 用 私有 云 部 署 ， 人 允许 Titan 公司 并 发 处 理 多 个 日 志和 维持 更 多 的 用 户 。 





10-10 网 络 游戏 的 可 扩展 日 志 处 理 
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本 章 小 结 


本 章 简 要 概述 了 为 云 开发 的 应 用 程序 或 利用 某 种 形式 的 云 技 术 的 应 用 程序 。 这 些 应 用 程 
序 涵盖 了 不 同 的 应 用 领域 ， 从 科学 到 商业 和 消费 者 应 用 程序 都 可 以 利用 云 计 算 。 

科学 应 用 从 云 环 境 的 弹性 和 可 扩展 性 得 到 巨大 的 好 处 ， 还 提供 按 需 定制 服务 以 部 署 和 执 
行 科学 实验 。 商 业 和 消费 者 应 用 程序 可 以 利用 其 他 几 个 特点 : zZ CRM 和 ERP 应 用 中 可 以 减 
少 甚至 消除 硬件 管理 、 系 统管 理 和 软件 升级 的 维护 成 本 。 此 外 ， 云 无 处 不 在 ， 可 以 从 任何 设 
备 和 任何 地 方 访 问 。 效 率 型 应 用 程序 ， 如 办 公 自 动 化 产品 ,不仅 允许 从 任何 地 方 访问 文档 ， 
还 能 修改 文档 ， 设 备 之 间 的 文件 不 需要 复制 。 视 频 编码 等 媒体 应 用 程序 可 以 将 元 长 和 计算 密 
集 型 任务 编码 转移 到 云端 。 社 交 网 络 能 利用 不 断 增 加 的 容量 ， 不 会 有 重大 的 服务 中 断 ， 可 维 
持 预期 的 性 能 水 平 。 

这 些 新 的 机 会 已 经 改变 了 我 们 在 日 常生 活 中 使 用 这 些 应 用 的 方式 ， 但 也 对 开发 者 提出 了 
新 的 挑战 ， 他 们 不 得 不 重新 考虑 设计 方式 ， 以 从 弹性 、 可 扩展 性 、 按 需 的 资源 配置 和 无 所 不 
在 的 特性 中 收益 更 多 。 这 也 是 云 技术 在 一 些 领域 成 为 一 个 有 吸引 力 的 解决 方案 的 重要 特征 。 


>] 


.什么 类 型 的 应 用 程序 可 以 从 云 计 算 获 益 ? 

云 技 术 给 科学 应 用 带 来 的 根本 优势 是 什么 ? 

.描述 云 计算 技术 如 何 用 于 支持 远程 心 电 监 护 。 

.描述 云 计算 技术 在 生物 领域 的 一 个 应 用 。 

. 云 计算 在 地 球 科学 领域 有 什么 优势 ?用 一 个 例子 来 说 明 。 
描述 基于 云 计算 技术 的 CRM 和 ERP 的 一 些 例子 。 

， 人 什么 是 Salesforce.com ? 

， 什 么 是 Dropbox 和 iCloud ? 它们 利用 云 技术 解决 哪 类 问题 ? 
.描述 谷歌 Apps 的 重要 特征 。 

.什么 是 Web 桌面 ? 它们 和 云 计算 有 什么 关系 ? 

.对 社交 网 络 应 用 ， 云 计算 技术 最 重要 的 优势 是 什么 ? 
给 出 一 些 使 用 云 技术 的 媒体 应 用 程序 的 例子 。 

.描述 一 个 用 于 网 络 游戏 的 云 技术 的 应 用 。 
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云 计算 发 展 迅 速 ， 新 的 技术 不 断 进步 ， 新 的 应 用 服务 不 断 推出 。 尤 其 是 在 云 计算 市 场 和 
数据 中 心 节 能 管理 的 背景 下 ， 有 许多 开放 的 挑战 。 

本 音 概述 了 云 计算 需要 长 期 研究 的 各 种 开放 问题 。 讨 论 的 主题 涉及 高 能 效 的 云 计 算 问 
题 ， 并 提出 了 一 个 “绿色 ”的 云 计算 架构 。 还 从 云 联 盟 、 云 和 云 之 间 协 议 的 角度 ， 讨 论 了 利 
用 云 计算 系统 实现 开放 市 场 的 市 场 模 型 。 最 后 概述 了 一 些 实现 云 之 间 互 操作 功能 的 现 有 标 
准 ， 并 简单 介绍 了 第 三 方 云 服务 。 


11.1 云 能 效 


云 计算 模型 下 操作 的 现代 数据 中 心 承载 了 各 种 应 用 ， 包 括 那 些 运行 几 秒 钟 〈 例 如， 电子 
商务 和 社交 网 络 门户 等 Web 应 用 程序 的 服务 请 求 ) 和 那些 在 共享 硬件 平台 运行 时 间 较 长 ( 例 
如 ， 仿 真 或 大 数据 集 的 处 理 ) 的 应 用 。 在 一 个 数据 中 心 管理 多 个 应 用 程序 的 需求 对 资源 按 箱 
配置 和 分 配 随时 间 变 化 的 工作 负载 提出 了 挑战 。 通 常情 况 下 ， 基 于 峰值 负载 特性 生态 地 为 应 
用 程序 分 配 数据 中 心 的 资源 ， 以 保持 独立 性 并 提供 性 能 保证 。 直 到 最 近 ， 高 性 能 成 为 数据 中 
心 部 署 的 唯一 关注 ， 这 种 需求 已 经 得 到 满足 ， 但 十 分 不 重视 电力 消耗 。 根 据 麦 上 有 有 锡 天 于 “ 御 
底 改 变数 据 中 心 电 力 效率 ”[118] 的 报告 ， 一 个 虚 型 的 数据 中 心 消 耗 的 能 量 多 达 25000 户 。 
共 给 一 个 典型 数据 中 心 的 电力 成 本 每 五 年 增加 一 倍 。 由 于 电力 成 本 不 断 增 加 ， 而 供应 不 断 下 
降 ， 因 此 有 必要 单独 从 性 能 角度 优化 数据 中 心 资源 管理 ， 将 重点 转移 到 优化 电力 效率 方面 ， 
同时 保持 高 水 平 的 服务 性 能 ( 见 图 11-1). 

数据 中 心 不 仅 维护 费用 昂贵 ， 且 会 对 环境 产生 不 利 影响 。 世 界 各 地 的 数据 中 心 的 碳 排放 
量 已 经 超过 阿根廷 和 荷兰 的 排放 量 总 和 [118] 。 产 生 高 电力 成 本 和 巨大 碳 排 放量 的 原因 是 需 

373| ”要 大 规模 供电 量 发 动 和 冷却 托管 在 这 些 数 据 中 心 的 大 量 服 务 嚣 。 云 服务 供应 商 需要 采取 措 
施 ， 以 确保 他 们 的 利润 空间 不 会 因为 高 电力 成 本 而 显著 降低 。 据 亚马逊 的 估计 ， 其 数据 中 心 
的 电力 相关 成 本 达到 总 预算 的 42%， 其 中 既 包 括 直 接 的 功 耗 也 包括 平分 在 15 年 间 的 冷却 基 
础 设施 的 费用 。 因 此 ， 人 谷歌、 微软 和 雅虎 公司 正在 苞 芜 的 沙漠 上 建设 大 型 数据 中 心 ， 围 绕 美 
国 哥伦比亚 河 利 用 廉价 的 水 力 来 发 电 。 来 自 世 界 各 国政 府 的 减少 碳 排放 的 压力 越 来 越 大 ， 因 
为 碳 对 气候 变化 产生 了 重要 影响 。 为 了 解决 这 些 问 题 ， 全 球 领 先 的 IT 厂商 最 近 成 立 了 一 个 
全 球 联盟 ， 称 为 绿色 网 格 组 织 ， 以 提高 数据 中 心 的 电力 效率 ， 并 最 大 限度 地 减少 其 对 环境 
的 影响 。Pike 研究 公司 预测 ， 采 用 云 计 算 模式 提供 IT 服务 ， 全 球 数据 中 心 的 电力 支出 会 从 
2010 年 的 233 亿美 元 降低 至 2020 年 的 160 亿美 元 ， 产生 温 室 气 体 (GHG) 将 比 2010 年 的 
排放 量 减少 28%。 

降低 数据 中 心 的 电力 使 用 是 一 个 具有 挑战 性 和 复杂 的 问题 ， 因 为 计算 应 用 程序 和 数据 的 
增长 如 此 迅速 ， 在 给 定时 间 内 的 以 足够 快 的 速度 来 处 理 它们 ， 需 要 更 大 的 服务 器 和 磁盘 。 绿 

色 云 计 莽 设想 的 实现 不 仅 要 有 效 地 处 理 和 利用 计算 基础 设施 ， 而 且 要 最 大 限度 地 减少 电力 消 
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耗 。 这 点 对 确保 云 计算 未 来 的 可 持续 增长 至 关 重 要 。 随 着 日 益 普 遍 的 前 台 客 户 端 设备 ， 如 
iPhone 手机 与 后 端 数据 中 心 进行 交互 ， 云 计算 将 导致 电力 消耗 的 巨大 升级 。 为 了 解决 这 个 问 
题 ， 数 据 中 心 资源 需要 以 高 能 效 的 方式 进行 管理 ， 以 带动 绿色 云 计 算 。 特 别 是 ， 云 资源 分 配 
不 仅 要 满足 用 户 通过 服务 水 平 协议 (SLA) 指定 的 QoS 要 求 ， 而 且 还 要 减少 电力 消耗 。 可 以 
通过 应 用 基于 市 场 的 实用 模型 来 接受 用 户 的 请 求 ， 既 增加 了 收入 ， 同 时 也 可 以 提高 云 基础 设 
施 的 能 效 利用 率 。 










、 ~ 


x h 
t SP ae 
SS BE, 

“iM ~ 





SS 
AS 








fa -可 -一 一 -一 
一 


图 11-1 “绿色 ” 云 计算 方案 
节能 和 绿色 云 计 算 架 构 


在 一 个 绿色 的 云 计算 基础 设施 内 支持 能 效 资源 分 配 的 高 层次 架构 如 图 11-2 所 示 。 它 由 
四 个 主要 部 分 组 成 ， 

o 消费 者 /代理 。 云 消费 者 或 其 代理 从 世界 上 任何 地 方向 云 提交 服务 请 求 。 注 意 ， 云 消 
费 者 和 部 署 服务 的 用 户 之 间 是 有 差异 的 。 例 如 ， 消 费 者 可 以 是 部 署 Web 应 用 程序 的 
公司 ， 根据“ 用户 ”访问 数目 呈现 不 同 的 工作 负载 。 

o 绿色 资源 分 配器 。 作 为 云 计算 的 基础 设施 和 消费 者 之 间 的 接口 ， 需 要 以 下 组 件 来 支 
持 高 效 节能 资源 管理 的 交互 : 

o 绿色 谈判 。 根 据 消 费 者 的 QoS 要 求 和 节能 方案 ， 与 消费 者 /代理 协商 散 定 云 服务 
供应 商 和 消费 者 之 间 规 定 的 价格 和 处 罚 (违反 SLA)。 例如， 在 Web 应 用 中 ，QoS 
的 度量 可 以 是 95% 的 请 求 的 服务 时 间 小 于 3 秒 。 

© 服务 分 析 软 件 。 在 决定 是 否 接受 或 拒绝 要 求 之 前 解释 和 分 析 一 个 提交 请 求 的 服务 。 
因此 ， 它 分 别 需 要 来 自 虚拟 机 管理 器 和 电力 监测 仪 的 最 新 负载 和 电力 信息 。 

e 消费 者 侦查 。 收 集 消费 者 的 具体 特征 ， 重 要 的 消费 者 可 以 被 授予 特权 ， 优 先 于 其 
他 消费 者 。 
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© 定价 。 决 定 服务 请 求 如 何 收费 ， 管 理 计算 资源 的 供给 和 需求 ， 并 有 效 地 促进 服务 
优先 次 序 分 配 。 

e 电力 监测 仪 。 观 察 并 确定 开启 或 关闭 哪些 物理 机 各 的 电源 。 

© 服务 调度 。 为 虚拟 机 分 配 请 求 ， 并 确定 虚拟 机 的 权利 。 决 定 何 时 添加 或 删除 虚拟 
机 以 满足 需求 。 

o 虚拟 机 管理 器 。 跟 踪 虚 拟 机 及 其 资源 配额 的 可 用 性 ， 也 负责 路 物理 机 器 迁移 虚拟 机 .。 
o 记 账 。 维 护 请 求 资 源 的 实际 使 用 情况 ， 计 算 使 用 成 本 。 历 史 使 用 信息 也 可 以 用 来 
改善 服务 分 配 决策 。 

虚拟 机 。 为 满足 多 个 请 求 ， 一 台 物 理 机 器 可 以 动态 地 启动 和 停止 多 个 虚拟 机 ， 根 据 

服务 请 求 的 不 同 具 体 要 求 在 同一 台 物 理 机 器 上 配置 资源 的 不 同 分 区 ， 从 而 提供 最 大 

的 灵活 性 。 单 个 物理 机 器 上 不 同 的 操作 系统 环境 下 ， 多 个 虚拟 机 还 可 以 并 发 地 运行 

应 用 程序 。 此 外 ， 通 过 在 物理 机 器 间 动 态 迁 移 虚拟 机 ， 工 作 负 载 可 以 整合 ， 未 使 用 

的 资源 可 以 处 于 一 个 低 功 耗 状 态 、 关 闭 或 者 配置 在 低 性 能 水 平 运行 (例如 ， 使 用 动态 

电压 和 频率 缩放 ， 即 DVFS)， 以 节省 电力 。 

e 物理 机 器 。 奔 层 的 物理 计算 服务 器 提供 人 硬件 基础 设施 ， 用 于 创建 虚拟 化 资源 ， 以 满 
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图 11-2 绿色 云 计算 高 层次 的 系统 架构 框架 


1. 能 量 感知 的 动态 资源 分 配 
最 近 虚 拟 化 方面 的 发 展 已 使 其 可 以 跨 数据 中 心 使 用 。 虚 拟 化 使 根据 QoS 要 求 部 署 的 虚 


拟 机 在 物理 节点 间 能 动态 迁移 。 空 闲 的 虚拟 机 可 以 在 逻辑 上 调整 和 整理 至 最 少 的 物理 节点 
数 ， 而 闲置 的 节点 可 以 关闭 (或 休眠 )。 通 过 整合 虚拟 机 ， 大 量 用 户 可 以 共享 一 台 物 理 服 务 
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过， 从 而 提高 利用 率 ， 又 减少 了 所 需 服 务 器 的 数量 。 此 外 ， 虚 拟 机 的 整合 可 以 通过 动态 捕捉 
工作 负载 的 变化 和 使 用 迁移 在 运行 时 适应 虚拟 机 的 配置 。 

目前 ， 云 数据 中 心 资源 分 配 的 目的 是 提供 高 性 能 的 同时 使 虚拟 机 分 配 满足 SLA， 很 少 或 
没有 考虑 电力 消耗 。 然 而 ， 探 讨 性 能 和 能 效 ， 有 两 个 关键 问题 必须 得 到 解决 。 首 先 ， 在 动态 环 
境 中 关闭 资源 需要 面临 QoS 下 降 的 风险 ， 积 极 整合 可 能 会 导致 某 些 虚拟 机 获得 的 资源 不 足以 
服务 于 顶峰 负载 。 第 二 ,接受 SLA 为 虚拟 化 环境 应 用 程序 性 能 管理 带 来 了 挑战 。 这 些 问题 都 
南 要 有 效 地 整合 策略 ， 以 最 大 限度 地 减少 电力 的 使 用 而 不 会 影响 用 户 的 QoS 要 求 。 目 前 的 动 
态 虚 拟 机 整合 方法 不 能 提供 性 能 保证 。 一 个 证 明 性 能 界限 的 方式 是 把 高 能 效 的 VM 动态 合 
的 问题 分 解 成 可 以 分 别 进行 分 析 的 几 个 子 问题 。 通 过 分 析 对 问题 建 模 ， 得 出 最 优 及 接近 最 优 的 
近似 算法 ， 并 提供 可 证 明 的 效率 ， 这 是 很 重要 的 。 为 了 实现 这 一 目标 ， 云 需要 新 的 分 析 模 型 和 
基于 QoS 的 资源 分 配 算法 ， 优 化 虚拟 机 布置 ， 目 标 是 在 性 能 约束 下 最 小 化 电力 消耗 。 

2. 互联 云 和 资源 整合 配置 

云 服 务 供应 商 已 经 在 遍布 全 球 的 多 个 地 点 部 署 数据 中 心 。 人 例如， 亚马逊 EC2 云 服务 
通过 设 在 美国 、 欧 洲 和 新 加 坡 的 数据 中 心 提供 服务 。 这 种 分 布 产生 一 个 概念 ， 称 为 互联 云 
( InterCloud)， 一 个 或 多 个 供应 商 可 利用 多 个 数据 中 心 发 布 可 扩展 应 用 服务 。 除 了 提高 性 能 
和 可 靠 性 ，InterCloud 提供 了 强 有 力 的 手段 来 减少 电力 相关 成 本 。 原 因 之 一 是 ， 对 电力 的 本 
地 需求 随 每 天 的 时 间 和 天 气 而 变化 。 这 会 导致 每 个 地 方 电力 价格 随时 间 而 变化 ， 而 且 每 个 站 
点 的 电力 来 源 不 同 (例如 煤 、 水 力 发 电 或 风 )， 具 有 不 同 的 环境 成 本 。 因 此 可 以 调整 发 送 到 
每 个 地 方 的 负载 和 每 个 地 方 通电 服务 器 数目 ， 以 提高 效率 。 

在 这 样 的 环境 中 ， 需 考虑 用 户 的 位 置 ， 每 一 个 位 置 硬 件 的 电力 效率 、 电 力 结构 ， 以 及 当 
前 每 个 位 置 需要 的 服务 器 的 数目 ,综合 这 些 因素 做 出 路 由 决策 算法 。 一 个 特别 有 希望 的 方法 
就 是 用 这 个 路 由 使 工作 “遵循 可 再 生 能 源 ”。 可 再 生 能 源 的 一 个 主要 问题 是 ， 大 部 分 来 源 是 
间歇 性 的 和 不 可 控制 的 。 可 再 生 能 源 到 站 点 的 动态 路 由 请 求 可 以 大 大 减少 不 可 再 生 能 源 的 使 
用 ， 有 利于 清洁 能 源 的 推广 。 

发 送 负载 到 远程 数据 中 心 导致 延误 成 本 和 能 源 成 本 ， 原 因 是 在 网 络 上 增加 了 大 量 数据 传 
送 。 改 进 能 源 效 率 传 输 技 术 应 该 能 显著 减少 云 软 件 服务 的 功 耗 [120] 。 


11.2 ”基于 市 场 的 云 管理 


云 计算 尚 处 于 起 步 阶段 ， 其 突出 的 用 途 是 双重 的 : 完全 替代 内 部 的 IT 基础 设施 和 服务 ， 
租用 服务 供应 商 的 服务 以 实现 相同 的 功能 ; 现 有 计算 系统 的 弹性 扩展 ， 以 解决 高 峰 期 的 工作 
负荷 。 研 究 机 构 和 业界 大 多 在 设计 和 实施 系统 方面 不 断 努 力 ， 实 际 上 应 让 业务 供应 商 和 企业 
来 实现 这 些 目 标 。 云 计算 的 真正 潜力 在 于 ， 它 实际 上 促进 了 IT 公共 基础 设施 交易 市 场 的 建 
立 。 目 前 已 经 有 一 些 此 方面 的 研究 ， 称 为 面向 市 场 的 云 计算 [30]. 


11.2.1 面向 市 场 的 云 计算 


云 计算 已 经 体现 出 IT 资产 作为 公共 基础 设施 服务 的 概念 。 那 么 ， 云 计算 与 面向 市 场 的 云 
计算 有 什么 不 同 ? 首先 ， 很 重要 的 一 点 是 要 理解 市 场 的 概念 。 牛 津 英语 词典 (OED) “定义 市 
场 为 “进行 贸易 的 地 方 ” (定义 TD)。 更 确切 地 说 ， 市 场 指 的 是 人 们 聚集 在 一 起 购买 和 销售 商品 。 


O 根据 牛津 英语 词典 的 定义 ， 市 场 可 以 在 www.oed.com/view/Entry/114178?rskey=13s2al&result=1#eid 找 到 
(2011 年 7 月 5 日 检索 )。 
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一 个 更 广泛 的 市 场 定 义 为 : 买 人 和 卖 出 的 行为 、 商 业 交易 、 购 买 或 讨价还价 。 因 此 ， 市 场 这 个 
词 主 要 是 指 在 环境 中 进行 交易 的 行为 ， 无 论 是 物理 环境 或 虚拟 环境 都 专门 致力 于 此 类 活动 。 

如 果 考 虑 将 IT 资产 和 服务 作为 公共 基础 设施 服务 消费 的 方式 ， 很 明显 ， 服 务 供应 商 和 
消费 者 之 间 有 交易 ， 这 使 得 在 特定 的 SLA 下， 用 户 能 使 用 该 服务 。 因 此 ， 云 计算 已 经 表达 
了 贸易 的 概念 ， 尽 管 消费 者 和 供应 商 之 间 的 交互 不 像 真 正 的 市 场 中 那么 复杂 : 用 户 通 常 从 一 
组 相互 竞争 的 供应 商 中 选择 一 个 云 计 算 供应 商 ， 只 要 他 们 需要 就 利用 其 服务 。 而 且 ， 目 前 大 
多 数 服务 供应 商定 价 都 不 够 灵活 ， 一 般 仅 限于 基于 统一 费用 或 使 用 国 值 收费 。 此外， 许多 供 
应 商 的 服务 有 专用 接口 ， 从 而 限制 了 消费 者 以 最 小 的 转换 成 本 从 一 个 供应 商 快速 转移 到 男 一 
个 供应 商 。 这 种 死板 规定 称 为 厂商 绑 定 ， 破 坏 了 云 计算 作为 一 个 开放 市 场 服 务 的 自由 流通 潜 
力 。 因 此 ， 为 了 取消 这 些 限制 ， 要 求 供应 商 通过 标准 接口 公开 服务 。 这 使 得 全 面 商 品 化 得 以 
实现 ， 从 而 为 交易 服务 创建 市 场 基础 设施 做 好 准备 。 

面向 市 场 的 云 计 算 ( MOCC) 和 云 计算 的 区 别 就 是 存在 一 个 动态 交易 和 代理 IT 服务 的 
虚拟 市 场 。 这 种 方式 仍 有 待 实现 并 且 将 显著 提高 为 消费 者 提供 服务 的 云 计算 服务 方式 。 更 确 
切 地 说 ， 缺 少 的 是 云 服 务 交 易 市 场 ， 在 该 市 场 中 能 够 发 布 需要 的 服务 ， 然 后 通过 匹配 用 户 
和 供应 商 的 要 求 自 动 竞价 。 目 前 ， 一 些 云 计 算 厂商 已 经 在 朝 这 个 方向 努力 9 laas 领域 已 经 
出 现 了 更 加 统一 和 成 熟 的 云 计 算 市 场 ， 但 一 直 没 有 完全 成 功 。 我 们 可 以 清楚 地 描绘 云 计算 和 
MOCC 之 间 的 关系 如 下 : 

”面向 市 场 的 计算 具有 与 云 计算 相同 的 特征 ， 因 此 ， 它 动态 地 交付 计算 资源 ， 让 

用 户 管理 软件 和 数据 存储 ， 如 同 在 跨 公 共和 私有 基础 设施 而 形成 的 “实时 ”的 大 容 

量 基 础 设施 上 执行 。MOCC 更 进一步 地 扩展 到 由 交易 服务 动态 组 成 的 多 个 公共 和 混 

合 云 环境 。[122] 

这 一 构想 的 实现 在 技术 上 是 可 行 的 ， 但 由 于 缺乏 标准 和 市 场 整体 不 成 熟 ， 现 在 还 不 可 能 
实现 。 尽 管 如 此 ， 预 计 在 不 久 的 将 来 ， 随 着 标准 的 出 台 ， 不 必 再 担心 安全 和 信任 问题 ， 企 业 
会 更 加 便利 地 利用 市 场 化 模式 来 整合 云 IT 基础 设施 和 服务 。 此 外 ， 基 于 需求 的 市 场 使 企业 
有 机 会 构建 其 基础 设施 ， 以 便 动态 应 对 工作 负载 高 峰 和 减少 维护 成 本 。 暂 时 租赁 低 使 用 率 的 
一 些 内 部 设施 ， 将 会 更 好 地 回报 投资 。 这 一 趋势 将 彻底 实现 市 场 化 的 云 计 算 。 


11.2.2 MOCC 参考 模型 


市 场 化 云 计 算 起 源 于 几 个 组 件 的 协调 : 服务 消费 者 和 服务 供应 商 ， 以 及 其 他 使 这 两 个 群 
体 之 间 可 能 交易 的 实体 。 市 场 定位 不 仅 影 响 了 云 计算 市 场 的 全 球 规模 的 组 织 ， 也 形成 了 云 计 
算 供 应 商 的 内 部 架构 。 供 应 商 需 要 更 灵活 地 分 配 资源 ， 这 是 由 那些 定义 服务 质量 的 附加 属性 
参数 所 驱动 的 。 

1. 面向 市 场 云 计算 的 全 局 视图 

图 11-3 给 出 了 在 全 球 范围 内 实现 MOCC 的 参考 方案 ， 是 关于 MOCC 如 何在 实践 中 实 
现 的 指导 。 

定义 全 球面 向 市 场 云 计算 架构 包括 几 个 组 件 和 实体 。 基 本 组 成 部 分 是 虚拟 市 场 ， 表 示 为 
云 交易 所 (CEx)， 将 服务 的 生产 者 和 消费 者 组 织 在 一 起 。 虚 拟 市 场 上 的 主要 参与 者 是 云 协 
调 商 和 云 代理 。 云 协调 商 代表 云 服 务 供应 商 ， 发 布 供应 商 提 供 的 服务 信息 。 云 代理 代表 消费 


O 亚马逊 提出 了 即时 实例 的 概念 ， 供 应 商 根据 自己 的 能 力 动态 提供 服务 ， 由 客户 竟 标 。 这 些 有 效 使 用 和 消费 之 
后 会 由 亚马逊 建立 的 即时 价格 和 客户 提供 的 最 高 价格 决定 。 
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者 操作 ， 根 据 服 务 描述 和 服务 质量 要 求 发 现 满足 客户 要 求 的 服务 。 代 理 执行 与 现实 世界 中 相 
同 的 功能 ， 是 协调 商 和 消费 者 之 间 媒 介 ， 从 前 者 获得 服务 ， 并 将 其 转 租 给 后 者 。 代 理 可 以 接 
受 来 日 许 多 用 户 的 请 求 ， 与 此 同时 ， 用 户 可 以 利用 不 同 的 代理 。 在 协调 商 和 云 计算 服务 供应 
商 之 间 也 存在 类 似 的 关系 。 协 调 商 代表 厂商 负责 服务 发 布 及 广告 ， 并 能 从 转 售 服务 给 代理 获 
利 。 每 一 个 单独 的 参与 者 都 有 目 己 的 效用 函数 ， 他 们 都 希望 最 优化 投资 回报 。 协 商 和 交易 在 
一 个 安全 可 菲 的 环境 中 进行 ， 大 多 是 由 服务 等 级 协议 (SLA) 推动 的 ， 每 一 方 都 必须 履行 。 
实体 之 间 的 协商 模型 可 能 不 同 ， 尽 管 拍卖 模式 似乎 更 适合 于 目前 的 情况 。 定 价 模式 同样 可 以 
考虑 ， 价 格 可 以 是 固定 的 ， 但 期 望 价格 可 能 会 根据 市 场 情 况 改变 。 
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图 11-3 市 场 化 的 云 计算 方案 


几 个 组 件 有 助 于 实现 云 交 易 所 并 实施 其 功能 。 图 11-3 中 给 出 的 参考 模型 可 以 分 为 三 个 
主要 组 件 : 

© 目录 。 市 场 目录 包含 所 有 已 发 布 的 服务 在 云 市 场 中 的 可 用 列表 。 该 目录 不 仅 包含 服 
务 的 名 称 和 相应 的 提供 服务 的 供应 商 (或 云 协调 商 ) 之 间 的 简单 映射 ， 还 提供 了 额外 
的 元 数据 ， 可 以 帮助 代理 或 终端 用 户 从 感 兴趣 的 服务 中 筛选 出 那些 能 够 真正 满足 所 
要 求 的 服务 质量 的 服务 。 此 外 ， 目 录 还 提供 一 些 索引 方法 ， 根 据 各 种 条 件 优化 服务 
的 发 现 。 目 录 由 服务 供应 商 修改 内 容 ， 供 服务 消费 者 查询 。 

。 拍卖 商 。 拍 卖 商 负责 记录 市 场 上 进行 的 拍卖 并 核实 拍卖 服务 可 正常 进行 ， 禁 止 亚 意 
的 市 场 参 与 者 进行 非法 活动 。 

。 银 行 。 银 行 组 件 负 责 在 虚拟 市 场 发 生 的 所 有 业务 的 财务 方面 。 它 还 确保 所 有 的 金融 
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交易 都 在 一 个 安全 可 靠 的 环境 下 进行 。 消 费 者 和 供应 商 可 以 在 银行 注册 ， 并 有 一 个 
或 多 个 可 在 虚拟 市 场 执行 交易 的 账户 。 

上 面 所 描述 的 组 织 只 构成 了 一 个 参考 模型 ， 用 来 帮助 系统 架构 师 和 设计 人 员 设 计 一 
础 云 交 易 系 统 。 在 现实 中 ， 系 统 的 架构 会 更 加 错综复杂 ， 因 为 必须 考虑 其 他 因素 。 例 如 ， 由 
于 云 计算 市 场 支持 交易 ， 这 最 终 涉 及 不 同 当事人 之 间 的 金融 交易 ， 因 此 安全 就 变 得 至 关 重 
要 。 安 全 的 电子 交易 机 制 非常 重要 ， 不 只 是 MOCC 系统 的 设计 和 实现 会 涉及 这 些 方面 ， 任 
何 分 布 式 计算 系统 都 会 涉及 ， 这 里 不 再 歼 述 。 

2. 数据 中 心 的 面向 市 场 架 构 

数据 中 心 是 计算 基础 设施 的 组 件 ， 备 份 云 计 算 供 应 商 提供 的 所 有 类 型 ( IaaS PaaS 或 
SaaS) 的 服务 。 本 节 介 绍 这 些 系统 是 因为 它们 是 实现 支持 MOCC 计算 基础 设施 的 基本 元 素 。 
这 些 标 准 管理 系统 的 逻辑 组 织 ， 而 不 是 它们 的 物理 布局 和 硬件 特性 ， 以 市 场 为 导 回 指导 设计 
架构 。 换 句 话 说， 为 MOCC 数据 中 心 描 述 了 一 个 参考 架构 。 

图 11-4 提供 了 组 件 的 整体 视图 ， 该 架构 支持 云 计算 供应 商 使 其 在 服务 市 场 化 基础 上 可 
用 [123] 。 具 体 地 说 ， 该 模型 适用 于 Paas 和 laas 供应 商 ， 明 确 地 利用 虚拟 化 技术 来 满足 客 
户 的 需求 。 该 架构 有 四 个 主要 组 成 部 分 : 
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服务 请 求 检 查 和 准 入 控制 
- 客户 驱动 的 服务 管理 

- 计算 风险 管理 

- 自动 资源 管理 





图 11-4 云 数据 中 心 参考 架构 


e 用 户 和 代理 。 他 们 发 起 在 云 数据 中 心 管理 的 工作 负荷 。 用 户 要 么 需要 虚拟 机 实例 来 
部 署 系 统 ( IaaS 的 情况 下 )， 要 么 在 供应 商 提 供 的 虚拟 环境 中 部 署 应 用 程序 (Paas 的 
情况 下 )。 这 些 服务 请 求 由 代表 用 户 的 服务 经 纪 公司 发 布 ， 并 为 他 们 寻找 最 好 的 交易 。 

© SLA 资源 分 配器 。 分 配器 代表 了 数据 中 心 和 云 服 务 供应 商 和 外 部 世界 之 间 的 接口 。 
它 的 主要 职责 是 确保 服务 请 求 按照 SLA 约定 让 用 户 满意 。 为 达到 这 一 目标 ， 几 个 组 
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件 协调 分 配器 活动 : 
® 服务 请 求 检 查 和 准 入 控制 模块 。 该 模块 工作 在 前 台 ， 过 滤 用 户 和 代理 请 求 ， 以 接 
及 系统 和 已 处 理工 作 负荷 的 当前 状态 下 可 行 的 请 求 。 接 受 的 请 求 会 分 配 ， 然 后 调 
度 执行 。IaaS 服务 供应 商 分 配 一 个 或 多 个 虚拟 机 实例 给 用 户 使 用 。Paas 供应 商 确 
定 一 个 合适 的 计算 节点 集合 在 其 上 部 署 用 户 的 应 用 程序 。 
定价 模块 。 该 模块 负责 根据 用 户 签署 的 SLA 向 用 户 收费 。 用 户 收 费 根据 不 同 的 参 
数 ， 例 如 ， 通 常情 况 下 ，IaaS 供应 商 根据 虚拟 机 的 特性 收费 ， 按 照 请 求 的 内 存 、 
医 盘 大 小 、 计 算 能 力 以 及 使 用 时 间 。 常 见 的 是 按 一 个 小 时 的 使 用 时 间 来 计算 ， 但 
也 有 其 他 几 种 定价 机 制 。Paag 供应 商 可 以 根据 应 用 程序 服务 的 请 求 数 ， 或 应 用 程 
序 运行 时 提供 的 开发 平台 的 内 部 服务 使 用 量 向 用 户 收费 。 
记 账 模块 。 该 模块 保存 资源 使 用 情况 的 实际 信息 ， 为 每 个 用 户 存 储 计 费 信息 。 评 
舍 用 尸 的 请 求 时 ， 这 些 数 据 提 供给 服务 请 求 检 查 和 准 入 控制 模块 。 此 外 ， 这 些 数 
据 构 成 了 丰富 的 信息 来 源 ， 这 些 信 息 可 进一步 挖掘 ， 用 于 识别 使 用 趋势 和 改进 供 
应 商 提供 的 服务 。 
调度 。 这 个 组 件 负责 实现 允许 的 服务 请 求 所 需要 的 低级 操作 。 在 laas 方案 中 ， 该 
模块 命令 基础 设施 部 署 尽 可 能 多 的 虚拟 机 以 满足 用 户 的 请 求 。 在 PaaS 方案 中 ， 该 
便 块 将 激活 并 在 选 定 的 一 组 节点 上 部 署 用 户 的 应 用 程序 ， 可 以 在 一 个 虚拟 机 实例 
部 着 ， 或 在 一 个 适当 的 沙 箱 环 境 中 部 署 。 
资源 监控 。 该 组 件 监 控 计 算 资 源 的 状态 ， 无 论 是 物理 或 虚拟 资源 。IaaS 供应 商 主 
要 关注 跟 踊 虚 拟 机 的 可 用 性 及 其 资源 的 权利 。PaaS 供应 商 监控 分 布 式 中 间 件 的 状 
人 态 ， 从 而 使 应 用 程序 弹性 执行 和 汛 载 每 个 方 点 。 
服务 请 求 监控 。 该 组 件 跟踪 服务 请 求 的 执行 进度 。 通 过 服务 请 求 监 控 器 收集 的 信 
息 帮 助 分 析 系 统 性 能 和 提供 有 关 供 应 商 能 否 满足 请 求 的 质量 反馈 。 例 如 ， 服 务 请 
求 监控 感 兴趣 的 内 容 是 满足 的 请 求 数 而 不 是 收 到 的 请 求 数 ， 以 及 请 求 的 平均 处 理 
时 间或 执行 时 间 。 这 些 数据 是 调节 系统 的 重要 信息 来 源 。 

SLA 分 配器 执行 主要 人 逻辑， 主要 逻辑 管辖 一 个 单一 的 数据 中 心 或 数据 中 心 集 
合 的 操作 。 故 障 管理 功能 是 最 有 可 能 被 其 他 软件 模块 处 理 的 ， 它 可 以 是 一 个 单独 
的 层 ， 或 者 和 SLA 资源 分 配 融 集成 。 
虚拟 机 ( VM)。 虚 拟 机 构成 云 计算 基础 设施 的 基本 构件 ， 特 别 是 对 于 Iaag 供应 商 。 
虚拟 机 表示 处 理 用 户 请 求 的 部 署 单 位 。 基 础 设施 管理 软件 负责 维护 计算 基础 设施 的 
运营 ， 支 持 供应 商 的 商业 服务 产品 。 正 如 我 们 所 讨论 的 ， 虚 拟 机 在 为 用 户 应 用 提供 
适当 的 托管 环境 方面 起 到 重要 人 作用， 同时， 应 用 程序 执行 时 从 基础 设施 隔离 ， 可 防 
止 应 用 程序 损害 托管 环境 。 此 外 ， 虚 拟 机 是 影响 服务 用 户 请 求 的 QoS 的 最 重要 的 部 
件 之 一 。 模 拟 硬件 特性 方面 ， 虚 拟 机 可 以 调整 ， 使 分 配给 用 户 的 物理 硬件 的 计算 资 
源 量 可 精确 控制 。Paag 的 供应 商 不 直接 向 终端 用 户 公 开 虚 拟 机 ， 但 他 们 可 以 在 内 部 
利用 虚拟 化 技术 ， 以 充分 和 安全 地 利用 自己 的 基础 设施 。 如 前 面 所 讨论 的 ，Paas 的 
供应 商 通常 利用 指定 的 中 间 件 执行 用 户 应 用 程序 ， 并 满足 应 用 执行 的 不 同 的 QoS 参 
数 要 求 ， 而 不 只 是 模拟 硬件 配置 。 
o 物理 机 。 在 参考 架构 的 最 低层 驻 留 着 物理 基础 设施 ， 可 包含 一 个 或 多 个 数据 中 心 。 

本 层 提供 满足 服务 需求 的 资源 。 
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此 架构 为 云 服务 的 厂商 提供 了 一 个 参考 模型 ， 使 他 们 的 基础 设施 适合 面向 市 场 的 计算 
( MOC)。 如 前 所 述 ， 这 些 研究 主要 适用 于 Paas 和 laas 供应 商 ， 而 SaaS 厂商 在 更 高 的 抽象 
层 操 作 。 但 仍 可 以 识别 一 些 SLA 资源 分 配器 元 素 ， 对 其 进行 修改 以 处 理 供应 商 提供 的 服务 。 
例如 ， 不 链接 用 户 请 求 到 虚拟 机 实例 和 平台 节点 ， 分 配器 在 供应 商 的 SaaS 框架 内 将 主要 关 
注 调度 请 求 的 执行 ， 并 在 技术 栈 较 低层 负责 控制 计算 基础 设施 。 记 账 、 定 价 和 服务 请 求 监 控 
仍 将 履行 其 职责 。 
不 管 哪 种 具体 的 服务 产品 类 别 ， 这 里 讨论 的 参考 架构 旨 在 支持 云 计 算 厂 商 提供 商业 解决 
方案 ， 能 够 [123]: 
e 基于 客户 描述 及 所 提出 的 服务 需求 支持 客户 驱动 的 服务 管理 。 
e 定义 计算 的 风险 管理 策略 ， 以 识别 、 评 估 和 管理 风险 ， 包 插 应 用 程序 执行 有 关 服 务 
需求 和 客户 需求 。 
e 制定 适当 的 基于 市 场 的 资源 管理 策略 ， 既 包括 客户 驱动 的 服务 管理 ， 也 包括 计算 的 
风险 管理 ， 以 保持 面向 SLA 的 资源 分 配 。 
e 合并 自主 资源 管理 模式 ， 有 效 地 自我 管理 变化 的 服务 要 求 ， 同 时 满足 新 的 业务 需求 
和 现 有 服务 的 职责 。 
e 在 适当 的 时 候 充 分 利用 虚拟 机 技术 ， 根 据 服务 需要 动态 分 配 资源 。 
这 些 功 能 在 云 计 算 市 场 具 有 至 关 重 要 的 竞争 力 ， 用 于 解决 MOCC 设想 的 动态 SLA 协议 
特征 的 场景 。 目 前 ， 不 存在 或 很 少 有 支持 该 动态 协议 的 模型 ， 这 一 设想 是 完全 实现 云 计 算 的 
下 一 个 步骤 。 


11.2.3 支持 MOCC 的 技术 和 实现 


现 有 的 云 计 算 解 决 方案 对 以 面向 市 场 策略 向 用 户 提供 服务 的 支持 非常 有 限 。 目 前 大 多 数 
解决 方案 主要 侧重 于 云 计 算 基础 设施 、 分 布 式 运行 时 环境 以 及 服务 的 交付 。 由 于 云 计算 最 近 
已 经 被 广泛 采纳 ， 因 此 技术 的 整合 是 全 面 实现 云 计 算 的 第 一 步 。 到 现在 为 止 ， 多数 交 易 针 对 
的 是 laas 解决 方案 ， 这 是 云 计 算 市 场 的 稳固 部 分 ， 有 一 些 不 同 的 参与 者 和 竞争 者 。 新 的 PaaS 
解决 方案 势头 很 狐 ， 但 很 难 渗透 谷歌 、 微 软 和 Force.com 等 巨头 主导 的 市 场 。 

1. 交易 计算 基础 设施 框架 

从 学 术 角 度 已 经 对 定义 交易 计算 公共 基础 设施 的 模型 进行 了 大 量 研究 ， 特 别 集中 于 网 格 
计算 系统 的 市 场 化 调度 的 设计 。 正 如 引言 中 所 讨论 的 ， 计 算 网 格 聚 集 了 在 地 理 上 分 布 的 ， 可 
能 属于 不 同 组 织 的 一 组 异 构 资源 。 这 些 资 源 通 常 是 组 织 之 间 按 协议 方式 租赁 为 长 期 使 用 。 在 
此 背景 下 ， 调 查 和 实施 了 面向 市 场 的 调度 程序 ， 调 度 程序 知道 给 定 的 计算 资源 的 价格 ， 根 据 
预算 调度 用 户 应 用 程序 。 这 方面 的 研究 和 MOCC 有 关 ， 因 为 云 计算 充分 利用 了 已 经 存在 的 
分 布 式 计算 技术 ,包括 网 格 计算 。 

GARG 和 Buyya[124] 提供 了 这 种 调度 的 完整 的 分 类 和 分 析 ， 如 图 11-5 所 示 。 根 据 分 
配 决策 、 目 标 、 市 场 模型 、 应 用 模型 和 参与 重点 ， 将 这 些 调度 进行 了 主要 分 类 。 特 别 令 人 感 
兴趣 是 根据 市 场 模型 的 分 类 ， 它 是 用 于 用 户 和 供应 商 之 间 的 交易 机 制 。 用 这 种 方法 可 以 将 调 
REREAD ALA BLK: 

o 博弈 论 。 那 些 基于 博弈 论 的 市 场 模型 ， 参 与 者 以 分 配 博弈 的 形式 互动 ， 用 不 同 的 报 

酬 作为 运用 各 种 策略 具体 行动 的 结果 。 
© 按 比 分 享 。 这 种 市 场 模 式 起 源 于 按 比 例 分 配 调度 ， 旨 在 在 一 组 资源 上 公平 地 分 配 工 
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作 。 这 种 原始 的 概念 已 经 置 于 面向 市 场 的 方案 中 ， 其 中 集群 的 分 配 是 和 用 户 的 出 价 
成 正比 的 。 

商品 市 场 。 在 该 模型 中 ， 资 源 供应 商 规定 资源 的 价格 ， 并 根据 资源 消耗 量 向 用 户 收 
灾 。 供 应 商 决 定 的 价格 是 考虑 投资 和 管理 成 本 、 目 前 需求 和 供应 后 综合 决策 的 一 个 
纺 果 。 此 外 ， 价 格 可 能 会 随时 间 变 化 。 

发 布 价格 。 这 种 模式 类 似 于 小 商品 市 场 ， 但 供应 商 可 能 对 新 的 客户 提供 优惠 和 折扣 。 
此 外 ， 对 于 商品 市 场 ， 一 段 时 间 内 价格 是 固定 的 。 

合同 网 。 在 基于 合同 网 [125] 协议 的 市 场 模型 中 ， 用 户 公布 他 们 的 需求 ， 并 邀请 资 
源 拥 有 者 进行 投标 。 资 源 拥 有 者 根据 他 们 的 要 求 检 查 这 些 公 告 。 如 果 公 告 是 对 他 们 
有 利 的 ， 该 供应 商 将 响应 投标 。 然 后 ， 用 户 将 整合 所 有 的 投标 并 比较 ， 选 择 对 自己 
最 有 利于 的 标 。 投 标的 结果 将 通知 供应 商 ， 他 们 可 以 接受 或 拒绝 。 

议价 。 在 基于 议价 的 市 场 模型 中 ， 资 源 消费 者 和 供应 商 之 间 的 谈判 一 直 进 行 直 到 相 
互 达成 协议 或 因 任 何 一 方 不 再 感 兴 趣 而 终止 。 

拍卖 。 在 基于 拍卖 的 市 场 模 型 中 ， 资 源 的 价格 是 未 知 的 ， 有 竞争 力 的 投标 由 第 三 方 
GALA) 监管 ， 有 助 于 确定 资源 的 最 终 价格 。 最 终 设 定 资源 价格 的 出 价 中 标 ， 相 应 
的 用 户 获得 该 资源 访问 权 。 


Vickery | | Dutch | | English | | 第 一 价格 密封 
FASE 拍卖 拍卖 拍卖 
图 11-5 ”面向 市 场 的 调度 分 类 


最 流行 和 最 有 趣 的 交易 计算 市 场 模型 是 商品 市 场 、 发 布 价格 以 及 拍卖 模型 。 前 两 种 模 
型 的 变化 或 组 合 推 动 了 今天 大 部 分 的 云 计算 服务 产品 。 而 以 拍卖 为 基础 的 模型 可 能 构成 
MOCC 参考 市 场 模型 ， 因 为 它们 能 够 无 颖 地 文 持 动态 协议 。 

学 术 研 究 已 经 带动 了 相当 数量 的 软件 项 目的 开发 ， 用 于 实现 用 户 资 源 代 理 或 资源 管理 
系统 ， 能 够 根据 前 面 所 描述 一 个 或 多 个 市 场 模型 交易 计算 基础 设施 。 其 中 ，SHARP [126], 
Tycoon [127] 、Bellagio[128] 和 Shirako[129] 都 集中 在 虚拟 机 资源 片 交易 ， 并 且 可 能 更 
适 于 MOCC 方 案 。 此 外 ， 值 得 注意 的 是 一 些 相关 的 研究 项 目 ， 侧 重 于 资源 的 代理 ， 如 
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Nimrod-G [164] 和 Gridbus 代理 [15] ， 已 经 能 够 集成 功能 以 租用 云 计算 资源 。 

2. 工业 实现 

尽管 面向 市 场 模型 大 多 在 学 术 领 域 进行 研究 ， 但 MOCC 的 某 些 工业 实现 已 经 具备 可 用 
性 ， 并 且 越 来 越 受 欢迎 。 特 别 是 一 些 有 趣 的 特性 显示 了 MOCC 的 不 同 之 处 ， 如 灵活 的 定价 
模式 、 虚 拟 市 场 和 市 场 目 录 ， 这 些 都 已 经 提供 给 广大 公众 。 

(1) 灵活 的 定价 模式 : 亚 马 示 即时 实例 

AWS: 是 Iaas 市 场 中 最 强大 产品 ， 最 近 推 出 了 即时 实例 的 概念 ， 它 允许 EC2 客户 竞标 
亚马逊 未 使 用 的 EC2 容量 和 运行 这 些 实例 ， 只 要 他 们 的 出 价 超过 了 当前 的 即时 价格 。 根 据 
EC2 实例 的 需求 和 供应 ， 即 时 价格 周期 性 变化 ， 一 个 小 时 内 保持 不 变 。 即 时 实例 服务 可 以 
在 任何 时 候 终 止 ， 它 们 的 价格 通常 低 于 传统 ( 按 需 和 保留 ) 的 实例 价格 ， 因 为 它们 依靠 的 是 
EC2 基础 设施 中 额外 的 可 用 容量 。 因 此 ， 用 户 的 责任 是 要 定期 维持 即时 实例 中 应 用 程序 的 执 
行 状 态 。 对 亚马逊 和 EC2 用 户 而 言 ， 即 时 实例 代表 了 一 个 有 趣 的 机 会 ， 双 方 都 能 从 市 场 目 
前 的 状况 中 获 益 : 供应 商 可 以 从 容量 获 利 ， 如 果 定 价 在 正常 水 平 容量 就 浪费 了 ; 而 消费 者 有 
机 会 通过 承担 主要 风险 少 付 钱 。 

尽管 价格 频繁 变动 ， 但 即时 实例 已 经 被 证 明 是 相当 可 靠 的 ， 且 可 用 于 执行 具有 低 优先 级 
的 非 紧 急 任 务 。 换 句 话 说， 它们 适合 于 可 容忍 QoS 限制 的 应 用 程序 。 此 外 ， 还 适合 以 较 低 
的 成 本 扩充 现 有 基础 设施 的 容量 [130] 。 

(2) 虚拟 市 场 : SpotCloud 

SpotClouds 实现 了 一 个 虚拟 市 场 的 在 线 门户 网 站 ， 卖 家 和 买 家 可 以 注册 和 交易 云 计 算 
服务 。 该 平台 是 一 个 在 laas 层 运作 的 市 场 。 买 家 正在 寻找 能 够 满足 他 们 的 应 用 需求 的 计算 
能 力 ， 而 卖家 可 以 提供 其 基础 设施 ， 以 服务 于 买 家 的 需求 而 赚 取 收入 。SpotCloud 提供 了 一 
套 全 面 的 针对 虚拟 市 场 的 特征 ， 包 括 : 

e 所 有 买 家 的 交易 详细 记录 。 

e 对 任何 资源 性 能 的 计量 、 计 费 。 

e 完全 控制 资源 性 能 的 市 场 定价 和 可 用 性 。 
为 供应 商 管理 资源 配额 和 利用 率 水 平 。 
联合 管理 (多 供应 商 、 多 客户 ， 但 只 有 一 个 平台 )。 
混合 云 支持 (内 部 和 外 部 资源 管理 )。 
完整 的 市 场 管理 和 报告 。 

e 应 用 程序 和 预 建 的 设备 目录 。 

除了 作为 一 个 在 线 门户 网 站 ， 由 SpotCloud 实现 的 虚拟 市 场 也 可 以 在 私人 场所 复制 。 交 
匈 仍 按 现金 并 基于 存款 进行 ， 一 旦 买卖 双方 创建 一 个 账户 就 必须 存 满 。 

尽管 有 一 些 局 限 ， 但 SpotCloud 仍然 是 最 具 代 表 性 的 MOCC 平台 实现 。 SpotCloud 的 工 
EREE, 为 了 加 入 门户 网 站 并 提供 可 用 的 计算 功能 ,去 家 需要 共享 一 个 共同 的 且 特 别 的 平 
合 。SpotCloud 目前 支持 Enomaly ECP © il OpenStack Ê, 


O 在 AWS 可 以 看 到 即时 实例 服务 产品 的 完整 细节 ， 参 考 下 面 的 链接 : http://aws.amazon.com/ec2/spot-instances/ 
(2011 年 5 月 9 日 检索 )。 

© www.spotCloud.com, 

© wwweenomaly.com. 

@ www.openstack.org. 
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3) PAR: App Spot， 云 计算 市 场 

SpotCloud 是 作为 一 个 托管 在 AppSpot 的 应 用 程序 来 实现 的 。 这 是 一 个 巨大 的 构建 在 谷 
a AppEngine 基础 设施 之 上 的 门户 服务 应 用 程序 ，appspot.com 是 一 个 命名 空间 ， 互 联网 社 
区 用 户 可 访问 其 下 所 有 使 用 谷歌 AppEngine 技术 开发 的 可 扩展 的 Web 应 用 程序 。 更 加 面向 
列 出 可 用 的 云 构 件 的 解决 方案 是 云 市 场 ” ， 其 特点 是 全 面 列 出 亚马逊 EC2 映像 。 尽 管 这 些 解 

决 方案 不 提供 完整 的 市 场 目录 实施 ， 但 它们 是 实现 MOCC 的 一 个 步骤 ， 因 为 它们 提供 了 方 

EER 组 件 的 方法 . 这 对 构建 云 计算 系统 十 分 有 用 : 

3. 案例 研究 : Cloudbus 工具 包 

一 个 有 却 的 案例 是 Cloudbus LRE [131]. 它 包 括 一 系列 技术 和 组 件 ， 全面 尝试 迎接 
实现 面向 市 场 的 云 计 算 构 想 的 挑战 . 

图 11-6 提供 了 Cloudbus 组 件 的 综合 视图 ， 以 及 它们 如 和 何 交互 从 而 为 MOCC 提供 平台 。 
现实 生活 中 的 应 用 涉及 各 种 场景 如 人 金融、 科学、 教育、 工程、 多 媒体 和 其 他 ， 需 要 云 计算 
设施 处 理工 作 负 载 和 存储 数据 . 
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Cloudbus 工具 包 可 以 作为 一 个 通用 的 前 端 处 理 器 ， 通 过 Cloudbus 工具 可 以 获取 满足 应 
用 程序 需要 的 云 计 算 服 务 。 它 提供 可 用 的 工具 和 技术 来 实现 服务 代理 基础 设施 和 部 闭 云 应 用 
程序 的 中 间 件 。 代 理 服务 由 买卖 中 间 商 实现 ,使 用 户 可 以 充分 利用 云 计算 市 场 。 它 依赖 于 不 
同 的 中 间 件 实现 以 完成 用 户 的 请 求 ， 这 些 中 间 件 可 以 是 Cloudbus 技术 或 第 三 方 实现 。Aneka 
或 工作 流 引 擎 技术 提供 在 云 中 执行 应 用 程序 的 服务 。 这 些 可 以 是 公共 云 、 私 有 内 部 网 ， 或 者 
所 有 可 以 在 互联 云 [114] 范围 统一 管理 的 数据 中 心 ， 联 合 属于 不 同 组 织 的 云 计算 形成 一 个 唯 
一 的 域 ， 摘 述 各 方 之 间 的 协 以 。 

表 11-1 概述 了 构成 Cloudbus 工具 包 的 所 有 组 件 ， 并 简要 说 明了 其 功能 。 该 工具 包 还 包 
括 开 发 算法 和 CloudSim[132] 在 模拟 环境 中 部 署 的 功能 。 这 个 工具 包 使 用 户 能 够 模拟 云 计 
算 环 境 的 许多 方面 ， 从 云 基 本 构件 (数据 中 心 、 计 算 万 点、 核 、 网 络 和 虚拟 机 ) 到 资源 分 配 
算法 和 策略 。 由 于 它 的 多 功能 性 ,该 工具 包 已 用 于 模拟 电源 感知 调度 策略 [133] ， 用 于 减少 
大 型 数据 中 心 的 能 耗 。 

表 11-1 Cloudbus 工具 包 组 件 和 技术 


技术 描述 
Aneka 云 应 用 程序 开发 和 部 署 的 中 间 件 
代理 跨 异 构 系 统 调 度 分 布 式 应 用 程序 的 中 间 件 ， 基 于 任务 包 模 型 
工作 流 管理 系统 执行 、 组 合 、 管 理 和 监控 跨 异 构 系 统 的 工作 流 的 中 间 件 
买卖 中 间 商 /元 代理 在 市 场 范围 内 匹配 用 户 的 需求 与 服务 供应 商 能 力 的 媒介 
互联 云 独立 云 计算 联盟 的 框架 
MetaCDN 利用 存储 云 智能 地 传送 用 户 内 容 的 MetaCDN 中 间 件 ， 基 于 其 QoS 和 预算 首选 项 
效能 计算 正在 研究 的 开发 技术 和 处 理 可 扩展 性 和 能 效 的 技术 
11.2.4 ”结论 


本 市 简要 回顾 了 面向 市 场 云 计算 的 基本 概念 。 与 其 他 任何 技术 一 样 ， 概 念 存 在 一 个 巩固 
阶段 ， 这 期 间 会 进行 研究 、 试 验 、 吸 收 和 运用 。 云 计算 是 分 布 式 计算 的 演变 ， 是 以 更 有 效 的 
方式 癌 企 业 和 单个 用 户 提供 IT 基础 设施 服务 的 新 方法 。 最 初 ， 大量 的 研究 兴趣 和 力量 集中 
在 laas 实施 ， 并 将 其 集成 到 现 有 的 计算 系统 和 工作 流 过 程 中 。 目 前 ，PaaS 解决 方案 日 益 普 
及 ， 用 来 更 稳定 地 发 布 商 业 和 主流 的 软件 应 用 和 系统 。 在 这 个 合适 的 环境 中 ， 支 持 MOCC 
的 技术 和 系统 可 以 实现 并 具备 可 用 性 。 这 个 意义 上 所 做 的 工作 大 部 分 仍然 属于 学 术 研究 的 范 
畴 ， 尽 管 其 第 一 个 商业 和 工业 实现 有 较 广 泛 的 支持 者 。 


11.3 云 联 盟 和 互联 云 


上 一 下 讨论 了 如 何 定 义 计算 资源 作为 公共 基础 设施 服务 来 交易 的 模型 和 系统 ， 以 及 云 计 
算 系统 如 何 互相 交互 产生 这 种 交易 。 本 节 从 行政 和 组 织 角度 来 解决 同样 的 问题 ， 并 介绍 云 联 
盟 和 互联 云 (InterCloud) 的 概念 。 这 些 概 念 MOCC 都 能 实现 ， 因 为 它们 提供 了 不 同 云 供应 
商 之 间 相 互 操作 的 方法 。 

因为 服务 可 以 按 需 按 使 用 付费 ， 所 以 云 计算 意味 着 服务 商 之 间 存 在 金融 协议 ， 这 些 概 念 
特性 对 于 云 联 盟 和 互联 云 都 适用 ， 但 对 于 构建 属于 不 同 管理 领域 的 云 联盟 具有 一 定 的 局 限 性 。 


11.3.1 特性 和 定义 
术语 云 联盟 和 互联 云 往往 可 以 交替 使 用 ， 表 达 的 都 是 单独 管理 域 的 云 计算 供应 商 聚 合 的 
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一 般 含 义 。 澄 清 这 两 个 术语 的 含义 ， 以 及 它们 如 何 应 用 于 云 计 算是 非常 重要 的 。 

术语 联盟 意味 着 创建 一 个 整体 组 织 ， 取 代 单 个 实体 的 决策 和 行政 权力 S。 在 云 计算 背景 
下 ， 这 个 词 并 没有 这 么 强 的 内 涵 ， 但 意味 着 不 同 的 云 供应 商 之 间 达 成 了 协议 ， 人 允许 他 们 有 特 
权利 用 彼此 的 服务 。 术 语 云 联盟 的 定义 由 Enomaly 公司 的 创始 人 兼 CTO Reuven Cohen 414°: 

当 两 个 或 更 多 独立 的 位 于 不 同 地 理 位 置 上 的 云 共享 身份 验证 、 文 件 、 计 算 资 

源 、 指 挥 和 控制 ， 或 访问 存储 资源 时 ， 由 云 联盟 管理 一 致 性 和 访问 控制 。 

这 个 定义 足够 广泛 ,包括 了 云 服务 联盟 的 所 有 不 同 的 表述 ， 云 服务 联盟 由 云 服务 供应 商 
之 轩 签 订 的 协议 管理 ， 而 不 是 由 用 户 组 成 。 

互联 云 常常 是 云 联盟 概念 的 蔡 代 术语 。 互 联 云 由 思科 引 和 人， 用 来 表达 相互 连接 的 云 服务 
组 合 ， 云 组 合 通 过 开放 标准 提供 利用 云 计 算 服 务 的 统一 环境 。 模 仿 互 联网 “网 络 中 的 网 络 ” 
术语 ， 互 联 云 代表 Spa 2 ， 表 达 将 属于 不 同 管理 域 的 云 连接 在 一 起 的 概念 。 这 在 许多 情 
况 下 是 可 以 接受 的 ,一 些 从 业者 和 专家 一 一 如 Ellen Rubin, CloudSwitch © 产品 的 创始 人 和 
副 总 裁 一 一 更 喜欢 赋予 这 两 个 术语 不 同 的 内 涵 : 

互联 云 和 云 联盟 之 间 的 主要 区 别 是 ， 互 联 云 基于 标准 和 开放 的 接口 ， 而 云 联 盟 

使 用 供应 商 的 控制 平台 。 在 互联 云 环境 中 ， 所 有 云 都 知道 应 用 程序 如 何 部 署 。 最 终 

提交 给 云 的 工作 任务 将 包括 关于 资源 、 安 全 、 服 务 等 级 、 地 理 位 置 等 信息 的 描述 ， 

足以 使 云 计算 能 够 处 理 请 求 和 部 署 应 用 程序 。 这 将 创建 真正 的 效用 模型 ， 其 中 所 有 

的 需求 都 可 以 定义 和 描述 ， 应 用 程序 可 在 任何 云 上 执行 ， 只 要 有 资源 支持 它 。 

因此 ， 术 语 互 联 云 大 多 指 全 球 概 念 ， 其 中 由 标准 控制 不 同 的 云 供应 商 之 间 的 互 操作 性 ， 
从 而 创建 一 个 开放 的 平台 ,应 用 程序 可 以 迁移 工作 负载 ， 并 从 不 同 的 资源 来 源 自由 组 合 服 
务 。 而 云 联盟 的 概念 比较 普遍 ， 包 括 
基于 私有 协议 和 专 有 接口 的 云 计算 供 
应 商 之 间 的 特殊 集成 。 


11.3.2 云 联盟 栈 


创建 云 联盟 涉及 不 同 层面 的 研究 
和 开发 : MAR. BW. PERI 
及 基础 设施 层 。 图 11-7 提供 了 设计 和 uy a ot vi 
实现 云 联 盟 体系 结构 所 面临 的 挑战 ， 访问 了 0 服务 等 级 协议 
该 体系 结构 协调 属于 不 同 管理 域 的 云 — 
服务 ， 使 它们 在 一 个 统一 的 服务 中 间 
件 环境 中 操作 。 

每 个 云 联盟 层 提出 了 不 同 的 挑战 ， 
需 在 不 同 的 IT 堆栈 层 操作 ， 并 使 用 不 
同 的 方法 和 技术 。 总 的 来 看 ， 面 对 每 图 11-7 云 联盟 参考 栈 
















协议 ， 接 口 和 标准 
程序 互 操作 | 
联盟 平台 (RESERVOIR, HKZ) 





O “这 个 定义 由 韦 氏 在 线 词 典 提供 :， www.merriam-webster.com/dictionary/federation (2011 年 5 月 10 日 检索 )。 

© “www.elasticvaporcom/2008/08/standardized-Cloud.html ( 2011 年 5 月 10 日 检索 )。 

© http://www.samj.net/2009/06/interCloud-is-global-Cloud-of-Clouds.html,, 

@ CloudSwitch 是 一 个 云 公 司 ， 致 力 于 发 布 企业 门户 网 站 到 几 个 云 计算 系统 ; 
www,Cloudswitch.com/page/Cloud-federation-and-the-interCloud ( 2011 年 5 月 10 日 检索 )。 
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一 层 挑战 的 解决 方案 构成 了 云 联盟 的 参考 模型 。 

1. 概念 层 

在 单个 云 供应 商 租用 服务 使 用 方面 ， 概 念 层 提出 了 云 联盟 作为 良好 解决 方案 需 面临 的 挑 
成 。 对 于 本 层 而 言 ， 无 论 是 服务 供应 商 还 是 服务 消费 者 ， 当 他 们 加 入 联盟 时 ， 使 其 明确 云 联 
盟 的 优势 是 很 重要 的 ， 还 要 描述 清楚 对 于 单个 供应 商 的 解决 方案 ， 联盟 环 境 可 以 创造 的 新 机 
会 。 本 层 相 关 的 元 素 是 : 


e 云 供 应 商 加 入 联盟 的 动机 。 

e 服务 消费 者 充分 利用 联盟 的 动机 。 

o 供应 商 将 其 服务 租用 给 其 他 供应 商 的 优势 。 

e 一 旦 加 入 联盟 ， 供 应 商 的 职责 。 

o 供应 商 之 间 的 信托 协议 。 

o 相对 消费 者 的 透明 度 。 

其 中 ， 最 关注 的 是 服务 供应 商 和 消费 者 加 入 联盟 的 动机 。 

从 云 服务 供应 商 的 角度 来 看 ， 如 果 有 助 于 增加 他 们 的 收入 ， 或 提供 了 新 的 机 会 增加 他 们 


的 业务 ， 那 么 加 入 云 联 盟 就 是 有 利 的。 此 外 ， 如 果 有 助 于 在 高 峰 人 负荷 期 间 维 持 客 户 满 意 的 
QoS， 即 把 极端 需求 放 在 单个 供应 商 的 基础 设施 上 ， 那 么 加 入 云 联盟 也 是 有 利 的 。 更 确切 地 
说 ， 要 识别 云 服 务 供应 商 在 这 些 动机 的 后 面具 有 的 功能 和 非 功 能 性 要 求 。 功 能 要 求 包括 : 


o 为 客户 提供 低 延 迟 访问 ， 无 论 他 们 身 在 何 处 。 这 对 单个 云 供应 商 不 太 可 能 ， 他 们 的 
数据 中 心 没 有 广泛 分 布 。 因 此 ， 需 要 低 延 迟 的 服务 可 能 会 因为 地 理 位 置 问题 而 表现 
不 佳 。 在 这 种 情况 下 联盟 将 有 助 于 单一 供应 商 提供 同样 的 服务 ， 满 足 预 期 的 QoS. 
处 理 突 发 需求 。 尽 管 云 计算 提出 了 无 限 容 量 和 持续 可 用 性 的 设想 ,但 服务 供应 商 依 
靠 的 仍 是 有 限 的 IT 基础 设施 ， 并 使 其 最 终 得 到 充分 利用 。 解决 这 个 问题 正常 的 办 法 
是 添加 更 多 的 容量 来 增加 基础 设施 。 例 如 ,为 了 跟 上 存储 和 计算 需求 的 增加 ， 人 谷歌 
已 经 在 5 年 内 将 服务 器 的 数量 从 8000 增加 到 超过 45 万 ， 从 4 个 服务 需 场 迁移 到 60 
多 个 数据 中 心 ，Facebook 最 近 也 增加 了 一 倍 的 数据 中 心 容量 。 如 此 庞大 的 供应 对 大 
型 IT 企业 是 负担 得 起 的 ， 他 们 能 适当 的 预测 需求 的 增加 。 不 常见 的 需求 可 以 租用 其 
他 供应 商 的 容量 以 得 到 更 好 的 解决 ， 因 为 并 不 是 每 一 个 云 供应 商都 处 于 IT 巨头 的 地 
位 。 云 联盟 通过 提供 一 个 鼓励 租用 资源 或 服务 的 环境 ， 有 利于 此 类 活动 的 进行 。 
扩展 现 有 的 应 用 程序 和 服务 ， 超 越 自身 的 基础 设施 能 力 。 对 额外 容量 的 需求 也 可 能 
来 目 现 有 应 用 程序 规模 的 增长 ， 现 有 应 用 程序 是 指 那些 临时 托管 的 、 不 构成 服务 供 
应 商 的 核心 业务 的 组 成 部 分 。 从 联盟 供应 商 租用 额外 服务 的 机 会 再 次 成 为 云 联盟 的 
一 个 潜在 优势 。 
从 不 使 用 资源 的 容量 获 益 。 为 了 提供 连续 的 可 用 性 和 无 限 容量 ， 云 服务 供应 商 一 般 
拥有 自己 的 大 型 计算 系统 ， 尽 管 这 些 系统 非常 有 用 ， 但 却 会 产生 维护 和 功 耗 方面 的 
成 本 。 能 效 计算 解决 方案 有 助 于 降低 成 本 和 减少 IT 对 环境 的 影响 。 云 联盟 则 提供 了 
不 同 的 机 会 ， 供 应 商 可 以 在 一 段 有 限 的 时 间 内 将 他 们 的 服务 租赁 给 其 他 供应 商 ， 即 
使 没有 直接 的 客户 ， 也 可 从 中 收益 。 
加 入 云 联盟 的 动机 还 包括 非 功能 需求 ， 最 相关 的 部 分 如 下 : 
© 满足 数据 位 置 的 强制 性 规则 。 地 理 位 置 可 能 会 限制 供应 商 为 消费 者 提供 服务 。 在 这 
种 特殊 情况 下 ， 借 助 云 联盟 的 供应 商 不 会 缺乏 容量 ， 但 是 由 于 供应 商 的 数据 中 心 位 
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Bpi, ANTE A mE HE — M E 7 ZEB BE A PERS. SSR AS Ah E I 
的 机 蜜 数据 时 ， 数 据 的 地 理 位 置 成 为 一 个 重要 的 问题 。 不 同 的 国家 有 不 同 的 规定 ， 
例如 ， 可 能 存在 政府 机 构 可 否 访问 机 密 数 据 层 的 问题 。 
e 存在 运营 成 本 瞬 态 炎 峰 。 运 营 成 本 也 可 能 遇 到 临时 尖峰 ， 比 如 由 于 自然 灾害 ， 电 力 
会 有 突然 变化 。 这 种 情况 不 方便 充分 利用 指定 的 数据 中 心 ， 因 此 有 机 会 利用 联盟 资 
源 提供 价格 更 便宜 的 服务 。 
e 灾难 恢复 。 一旦 发 生日 然 灾 害 ， 如 果 数 据 中 心 在 同一 地 点 ， 那 么 灾难 将 导致 整个 数 
据 中 心 或 更 多 数据 中 心 不 定 时 中 断 服务 。 在 这 种 情况 下 ， 根 据 供应 商 之 间 的 协议 来 
处 理 灾难 状况 更 有 可 能 在 联盟 范围 内 解决 ， 而 不 是 在 竞争 激烈 的 市 场 中 解决 。 
对 于 以 上 所 有 情况 ， 云 联盟 提供 的 不 仅 是 概念 上 的 解决 方案 ， 同 时 也 是 实现 这 些 目 标的 
切实 可 行 的 手段 。 
云 联盟 是 云 服务 供应 商 利益 最 大 化 的 全 加， 并 假设 对 服务 消费 者 透明 。 除 了 终端 用 户 间 
接 利 益 ， 确 实 有 一 些 潜在 的 直接 受益 于 云 联盟 的 概念 。 间 接 利益 大 多 与 终端 用 户 感知 的 服务 
IHR. HIER QoS 通过 执行 准 入 控制， 确保 如 果 请 求 被 接受 ， 将 按照 与 客户 签订 的 SLA 中 
定义 的 QoS 属性 提供 服务 。 目 前 ， 各 大 云 服务 供应 商 保证 QoS 大 多 是 基于 可 用 性 ， 而 不 是 
其 他 质量 因素 。 例如， 在 laas 场景 ,虚拟 机 实例 的 发 布 硬件 功能 可 能 无 法 反映 其 真实 的 性 
能 。 由 于 没有 SLA 保证 此 性 能 ， 供 应 商 将 始终 尝试 服务 于 请 求 ， 其 至 提供 低 性 能 的 服务 。 
在 云 联盟 的 环境 下 ， 请 求 可 以 利用 其 他 供应 商 服务 ， 从 而 确保 预期 的 性 能 指标 得 到 满足 。 因 
此 ， 对 于 用 户 的 间接 效益 ， 当 要 求 服务 时 ， 云 联盟 可 以 提高 整体 服务 质量 。 直 接 利 益 也 给 终 
端 用 户 带 来 好 处 ， 因 为 用 户 能 够 感知 云 联盟 的 存在 。 
提供 不 同 服务 的 云 供 应 商 可 以 互相 支持 ， 因 为 他 们 不 是 竞争 对 手 。 航 空 公 司 和 酒店 细 分 
市 场 之 间 的 合作 是 一 个 很 好 的 例子 。 航 空 公司 为 客户 提供 与 预订 机 票 配 对 的 住宿 选项 。 这 一 
般 可 能 是 相互 合作 的 酒店 和 航空 公司 之 间 协 议 的 结果 ， 从 而 给 顾客 提供 更 好 的 服务 。 这 两 个 
公司 不 会 相互 竟 争 ， 如 果 他 们 为 客户 提供 一 个 完整 的 解决 方案 ， 他 们 可 以 双赢 。 云 联盟 计算 
环境 可 以 复制 这 种 类 型 的 合作 。 例 如 ， 驻 留 在 不 同 的 细 分 市 场 (laaS, PaaS, SaaS) 的 供应 
商 可 以 互相 打 广 告 ， 给 用 户 提供 更 好 的 服务 。 有 遗留 系统 的 企业 将 主要 考虑 用 Iaas 解决 方 
案 来 部 署 和 扩展 他 们 的 系统 。Iaags 供应 商 可 以 在 其 产品 服务 之 外 支持 对 PaaS 服务 的 访问 ， 
方法 是 选择 那些 可 能 会 互补 的 、 用 户 感 兴 趣 的 、 云 联盟 供应 商 提供 的 服务 。 


未 来 ，AWS 可 能 会 支持 以 一 定价 格 优势 访问 AppEngine, 或 简单 地 提供 一 个 更 好 的 与 _ 


谷歌 的 交互 ， 提 供 数据 传输 、 网 络 连 接 和 带宽 方面 的 服务 。 这 将 给 客户 带 来 哪些 帮助 ? 在 亚 
马 逊 EC2 上 已 经 托管 Web 应 用 程序 的 公司 以 后 可 能 需要 整合 新 的 功能 ， 并 采用 可 扩展 的 开 
发 技术 。 由 于 具有 从 EC2 部 署 利用 AppEngine 的 性 能 优势 ， 这 可 能 是 可 选 的 解决 方案 。 在 
云 联盟 范围 内 这 种 可 能 性 更 高 。 而 且 云 联盟 可 以 为 用 户 提供 更 好 的 服务 ， 即 使 他 们 托管 在 
同一 个 细 分 市 场 ， 但 提供 不 同 的 服务 。 例 如 ， 在 aas 方案 中 ， 具 体 供应 商 可 能 无 法 服务 于 
VM 模板 托管 一 个 特定 的 操作 系统 ， 但 它 可 以 建议 或 为 客户 指定 另 一 个 能 够 提供 这 种 功能 供 
应 商 。 如 果 这 两 个 供应 商都 服从 属于 同一 个 联盟 的 协议 ， 那 么 这 种 情况 便 是 可 行 的 。 

作为 联盟 的 一 部 分 ， 意味 着 供应 商 有 责任 避免 寄生 行为 。 例 如 ， 每 个 供应 商都 希望 成 为 
为 联盟 贡献 资源 的 活跃 成 员 ， 这 使 得 联盟 更 可 靠 ,增加 了 每 个 供应 商 对 它 的 信任 。 供 应 商 的 
职责 ， 如 经 常 向 联盟 贡献 一 小 部 分 可 用 资源 和 服务 ， 可 能 会 被 认为 是 损失 ,但 也 可 能 是 油 在 
的 好 处 。 例 如 ， 大 公司 (如 谷歌 ) 按照 峰值 要 求 而 不 是 详细 的 实际 使 用 收取 每 个 月 的 电力 使 
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用 费 [135] 。 这 意味 着 如 果 在 一 个 月 内 数据 中 心 达到 90% 的 峰值 容量 ,平均 工作 60%, Hf 
LAGI AIRE 90% 的 容量 支付 整整 一 个 月 运营 成 本 的 电费 。 这 导致 公司 投入 了 大 量 的 精力 
来 优化 数据 中 心 的 利用 率 。 云 联盟 可 能 是 这 种 优化 的 替代 方案 ， 因 为 它 可 通过 联盟 的 其 他 成 
员 来 使 用 内 部 资源 。 从 出 租 这 些 资 源 获得 的 收入 可 以 弥补 电力 成 本 的 峰值 请 求 。 

这 些 方面 都 是 云 联盟 存在 的 理由 。 概 念 层 的 障碍 是 安全 和 信任 的 影响 。 例 如 ， 在 联盟 范 
围 内 供应 商 可 能 将 一 部 分 服务 消费 者 的 请 求 转移 到 与 它 有 协议 的 另 一 个 供应 商 。 这 对 用 户 是 
透明 的 ， 用 户 可 能 不 希望 这 样 做 。 为 了 使 云 联盟 的 概念 可 行 ， 从 而 有 效 地 利用 云 计 算 技 术 ， 
这 些 挑 战 必须 得 到 妥善 解决 。 

2. 逻辑 和 操作 层 

云 联盟 的 逻辑 和 操作 层 需 处 理 如 下 挑战 : 设计 一 个 框架 ， 使 属于 不 同 管理 域 的 供应 商 聚 
集 在 单一 基础 设施 环境 下 ， 即 云 联盟 。 互 操作 策略 和 规则 在 本 层 定 义 。 此 外 ， 这 一 层 还 决定 
如 何以 及 何 时 租赁 一 个 服务 给 另 一 个 供应 商 或 如 何 充 分 利用 来 自 另 一 个 供应 商 的 服务 。 迎 和 辑 
组 件 定义 了 供应 商 之 间 的 协议 签订 和 服务 谈判 ， 操 作 组 件 特征 化 并 且 形 成 联盟 的 动态 行为 ， 
联盟 是 单一 供应 商 的 选择 的 最 终结 果 。 该 层 实施 和 实现 MOCC., 

在 本 层 解决 以 下 重要 挑战 : 

© 联盟 应 该 如 何 表示 ? 

e 如 何 建 模 和 表示 云 服务 、 云 服务 供应 商 或 一 个 协议 ? 

e 如 何 定义 允许 供应 商 加 入 联盟 的 规则 和 政策 ? 

o 解决 供应 商 之 间 协 议 的 合适 机 制 是 什么 ? 

o 供应 商 彼此 的 责任 是 什么 ? 

o 供应 商 和 消费 者 什么 时 候 应 该 利用 联盟 的 优势 ” 

e 哪些 类 型 的 服务 更 可 能 被 租赁 或 购买 ? 

o 出 租 的 资源 应 该 如 何 定 价 ?” 应 该 租赁 哪 一 部 分 资源 ? 

逻辑 和 业务 层 为 学 术 界 和 工业 界 提 供 了 机 会 。 我 们 需要 一 个 联盟 ， 或 者 更 一 般 地 说 ， 某 
种 形式 的 互 操 作 现 在 已 经 经 过 评估 ， 但 没有 共同 和 明确 的 指导 来 定义 一 个 云 联盟 模型 及 如 何 
应 对 这 些 挑 战 。 事 实 上 ， 兰 干 方案 正在 研究 中 。 在 学 术 研 究 方面 ， 正 在 研究 云 互 操作 的 组 织 
模型 和 经 济 模 型 ， 用 于 描述 一 个 联盟 环境 下 云 服 务 供应 商 和 服务 消费 者 的 行为 。 行 业内 ， 各 
K IT 巨头 都 在 努力 促成 标准 ， 并 为 可 互 操作 的 云 计算 起 草 建 议 。 

在 这 一 层 上 有 必要 特别 关注 SLA 和 它们 的 定义 [150] 。SLA 的 必要 性 在 学 术 界 和 工业 
界 是 公认 的 事实 ， 因 为 SLA 更 清楚 地 定义 了 不 同 供应 商 之 间 的 买卖 和 租用 。 此 外 ，SLA Fe 
许 我 们 评估 交易 服务 是 否 根 据 预期 的 质量 配置 交付 。 可 以 规定 监管 供应 商 的 交易 政策 ， 对 降 
低 服 务 交 付 建立 惩罚 。 这 一 点 尤其 重要 ， 因 为 它 会 增加 各 方 对 云 计算 联盟 的 信任 等 级 。 

目 1980 年 以 来 SLA 一 直 在 使 用 ， 它 起 源 于 电信 和 领域 [152] ， 用 来 定义 附加 到 消费 和 网 
络 供应 商 之 间 的 合同 的 服务 质量 。 从 那 以 后 ，SLA 已 被 用 于 多 个 领域 ， 包 括 Web 服务 、 网 
格 计算 和 云 计算 。 在 不 同 的 领域 SLA 的 具体 特性 不 同 ， 但 它 可 以 普遍 定义 为 “存在 于 两 个 
组 织 (服务 供应 商 和 服务 消费 者 ) 之 间 的 业务 关系 的 期 望 和 职责 的 明确 声明 。9”SLA 定义 了 
供应 商 的 性 能 交付 能 力 、 消 费 者 的 性 能 配置 和 监视 手段 和 交付 性 能 度量 。SLA 的 实施 应 该 指 


© Dinesh VSupporting Service Level Agreements on IP Networks, Proceedings of IEEE/IFIP Network Operations and 
Management Symposium, 92(9):1382-1388, NY,USA, 2004. 
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fe (153): 

e 目的 。 实 现 使 用 SLA 的 目标 。 

限制 。 必 要 的 步骤 或 需要 采取 的 措施 ， 确 保 服 务 请 求 按 级 别 交付 。 

有 效 期 。SLA 有 效 的 时 间 段 。 

范围 。 将 要 交付 给 消费 者 的 服务 及 SLA 之 外 的 服务 。 

参与 方 。 任 何 有 关 组 织 或 者 个 人 以 及 他 们 的 角色 (如 供应 商 、 消 费 者 )。 
服务 等 级 目标 (SLO)。 双 方 都 同意 的 服务 等 级 。 这 些 都 是 通过 服务 水 平等 级 指标 表 
示 的 ， 如 可 用 性 、 性 能 和 可 靠 性 。 

e 处 罚 。 如 采 交 付 的 服务 没有 达到 定义 的 SLO 会 受到 处 罚 。 

© 可 选 服务 。 不 是 强制 性 的 服务 ， 但 可 能 需要 。 

e 管理 。 保 证 SLO 的 实现 ,确认 相关 控制 过 程 的 组 织 责 任 。 

参与 方 执行 SLA 的 过 程 包括 SLA 的 发 现 (创建 )、 执 行 和 终止 。 一旦 其 SLA 有 效 期 结 
束 或 者 违反 了 合同 就 终止 [154] 。Sun 互联 网 数据 中 心 工 作 组 给 出 了 更 加 细 化 的 过 程 ，SLA 
的 生命 周期 包括 六 个 步骤 : 

1 ) 发 现 服务 供应 商 。 
2) SM SLA. 
3 ) 建立 协议 。 

4) 监控 SLA 执行 。 

5) 终止 SLA。 

6) SLA AARTI. 

目前 有 一 个 非常 基本 的 SLA 管理 框架 ， 不 同 的 云 供 应 商 之 间 的 互 操作 性 使 得 这 种 特殊 
集成 非常 复杂 。 已 提出 的 处 理 过 程 只 是 一 个 参考 模型 ， 仍 然 有 待 具体 实现 。 此 处 定义 的 每 个 
步骤 [150] ， 相 当 多 的 工作 在 学 术 领 域 已 完成 ， 但 在 工业 界 ，SLA 仍 是 由 服务 供应 商 强 加 的 
单方 面 约定 ， 用 户 只 可 以 接受 。 

3. 基础 设施 层 

基础 设施 层 解决 参与 实现 异 构 的 云 计算 系统 无 缝 互 操作 的 技术 挑战 。 它 处 理 保持 各 个 云 
计算 系统 属于 不 同 管理 域 的 技术 障碍 。 由 于 具有 标准 化 的 协议 和 接口 ， 这 些 障碍 是 可 以 克服 
的 。 换 句 话 说， 联盟 的 基础 设施 层 类 似 互联 网 的 TCP/IP 协议 栈 : 一 个 模型 和 一 个 系统 互 操 
作 技 术 的 参考 实现 。 

基础 设施 层 资 定 了 其 在 云 计 算 参 考 模型 ( 4.2 节 中 讨论 ) 的 laas 和 PaaS 的 基础 。 互 操 
作 和 接口 服务 也 可 能 在 SaaS 层 实施 ， 特 别 是 对 协商 和 云 联盟 的 实现 。 本 层 需 重 点 解决 以 下 
问题 : 

e 应 采用 什么 样 的 标准 ? 

o 接口 和 协议 如 何 设计 成 互 操作 ? 

e 用 于 互 操作 的 技术 有 哪些 ? 

o 如 何 实现 一 个 能 互 操作 的 软件 系统 ? 如 何 设 计 平 台 组 件 和 服务 ? 

只 有 开放 标准 和 接口 ， 不 同 的 云 计算 厂商 间 的 互 操作 和 组 合 才 是 可 能 的 。 此 外 ， 接 口 和 
协议 在 云 计算 参考 模型 的 每 一 层 变 化 很 大 。 作 为 比较 成 熟 的 技术 层 ，IaaS 层 在 此 方面 已 经 很 
先进 。 几 乎 每 一 个 Iaas 供应 商都 公开 Web 接口 ， 用 于 封装 虚拟 机 模板 ， 以 及 启动 、 监 挖 和 
终止 虚拟 实例 。 即 使 没有 标准 化 ， 这 些 接口 都 利用 Web 服务 技术 ， 彼 此 也 十 分 相似 。 使 用 
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共同 的 技术 简化 了 供应 商 的 互 操作 ， 实 现 互 操作 需要 的 代码 量 最 小 。 这 些 API 允许 定义 一 
个 抽象 层 ， 统 一 地 访问 几 个 laas 供应 商 的 服务 。 目 前 已 经 有 工具 (开源 和 商业 都 有 ) 和 在 这 
层 实 施 互 操作 性 的 规范 。 

全 面 支持 云 联盟 的 构想 需要 实现 更 复杂 的 功能 。 例 如 ， 在 不 同 的 供应 商 之 间 动 态 迁 移 虚 
拟 机 实例 是 必要 的 ， 以 支持 在 不 同 的 Iaas 厂商 中 动态 负载 平衡 。 在 这 方面 ， 开 放 虚 拟 化 格 
A (OVF) [51] 的 目标 就 是 解决 这 个 问题 ，OVF 最 终 可 能 会 成 功 ， 因 为 一 些 云 计算 供应 商 
已 经 了 采用 该 规范 。 如 果 考 虑 Paas 层 ， 互 操作 变 得 更 加 困难 ， 因 为 每 一 个 云 计算 供应 商 提 
供 其 自己 的 运行 时 环境 ,不 同 的 云 服务 供应 商 开 发 应 用 程序 的 语言 和 抽象 不 同 ， 目 标 也 不 
同 。 目 前 ， 这 层 的 互 操作 还 没有 实现 ， 也 没有 简化 供应 商 之 间 互 操作 的 标准 。 至 于 SaaS Jz, 
提供 的 不 同 服务 使 互 操作 不 太 重 要 。 

SaaS 层 实 现 互 操作 性 的 案例 是 网 上 办 公 自 动 化 ， 如 谷歌 Documents 、Zoho Office 等 ， 
能 在 不 同 的 格式 间 导 出 和 导入 文件 ， 从 而 简化 数据 的 交换 。 另 外 ， 应 用 服务 组 合 似乎 更 有 吸 
引力 ， 不 同 的 SaaS 服务 可 以 组 合 在 一 起 ， 为 用 户 提 供 更 复杂 的 应 用 。 服 务 组 合 对 于 在 不 同 
层 跨 云 计 算 平台 互 操作 更 为 重要 。 即 使 在 这 种 情况 下 ， 需 要 注意 的 是 ， 目 前 ， 在 某 一 层 操作 
的 云 计 算 供 应 商 往往 在 其 基础 设施 更 低 的 任何 层 实施 ， 需 要 提供 服务 给 终端 用 户 ， 他 们 都 不 
愿意 开放 目 己 的 技术 栈 来 文 持 互 操作 。 

云 服 务 供应 商 的 联盟 环境 提出 的 构想 在 每 层 都 带 来 了 许多 挑战 ， 尤 其 是 在 逻辑 和 基础 设 
施 层 ， 需 要 设计 适当 的 系统 组 织 和 部 署 有 效 的 技术 。 大 量 的 研究 工作 一 直 在 逻辑 和 操作 层 上 
进行 ， 目 前 已 设计 了 laas 方案 的 初步 实现 和 互 操作 技术 的 草案 。 
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很 多 因素 对 云 联盟 的 成 功 实现 做 出 了 贡献 。 除 了 动力 和 技术 ， 还 要 考虑 其 他 因素 。 定 义 
云 供应 商 之 间 的 互 操作 平台 时 ， 必 须 考虑 互 操作 性 标准 、 安 全 性 和 法 律 问题 。 

1. 标准 

标准 是 建立 联盟 的 基础 。 其 主要 作用 是 构建 实现 互 操作 的 平台 ， 解 决 复杂 聚合 和 供应 商 
迁移 问题 。 标 准 化 的 接口 和 协议 易于 实现 开放 的 组 织 ， 供 应 商 可 以 很 方便 地 加 入 。 建 立 标准 
的 优点 主要 在 于 技术 方面 ， 可 以 促进 互 连 的 软件 和 服务 系统 的 开发 。 此 外 ， 标 准 定义 了 新 的 
供应 商 加 入 的 方法 ， 从 而 有 助 于 开放 系统 的 实现 。 

供应 商 之 间 的 互 操作 一 直 是 企业 关注 的 因素 ， 也 是 最 初 妨碍 他 们 完全 接受 云 计算 模式 的 
原因 。 更 具体 地 说 ， 在 可 移植 方式 中 ， 没 有 开发 应 用 程序 和 系统 的 共同 标准 ， 导 致 了 厂商 绪 
定 问 题 。 应 用 程序 和 系统 的 开发 部 署 在 一 个 特定 的 云 计 算 供 应 商 的 基础 设施 上 ， 无 法 轻易 迁 
移 到 男 一 个 供应 商 。Iaag 解决 方案 还 利用 了 虚拟 机 实例 和 模板 的 专 有 格式 ， 防 止 实例 从 一 
供应 商 的 平台 移动 到 男 一 个 。Paas 解决 方案 中 ， 技 术 性 障碍 更 要 考虑 ， 即 使 开发 技术 可 能 
会 有 所 不 同 。 这 些 技术 壁垒 导致 人 们 开始 研究 试图 克服 这 些 障 碍 的 解决 方案 ， 至 少 可 用 于 有 
限 的 供应 商 。 例 如 , Rightscale”， 为 客户 提供 了 一 个 可 以 透明 地 在 不 同 的 laas 供应 商 开发 平 
合 部署 的 解决 方案 。 在 PaaS 方案 中 ，Aneka 提供 了 一 个 中 间 件 ， 可 以 跨 laas 供应 商 利 用 异 
构 硬 件 并 支持 跨 平台 部 署 。JClouds” 项 目 定义 了 一 组 库 和 组 件 ， 人 允许 统一 使 用 不 同 的 aas 
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供应 商 在 云 上 用 Java 开发 应 用 程序 。 
这 些 技 术 改 进 帮 助 系统 设计 人 员 和 开发 人 员 开 发 少 受 厂商 绑 定 问 题 影响 的 系统 。 但 这 些 
努力 对 于 建立 一 个 联盟 还 有 距离 ， 建 立 联盟 只 能 通过 为 互 操作 设计 标准 、 协 议和 实现 格式 的 
方法 来 实现 。 在 开放 组 织 和 主要 行业 合作 伙伴 联盟 的 环境 下 ， 人 们 正在 努力 创建 标准 。 在 学 
术 界 可 以 发 现 一 些小 的 努力 。 
(1) 开放 云 计算 声明 
开放 云 计算 声明 是 实现 云 互 操作 平台 的 第 一 步 。 该 声明 由 不 同 的 云 供应 商 协调 制定 ， 
于 2009 年 起 草 ， 最 近 列 出 了 超过 400 个 云 计 算 服 务 供应 商 ， 他 们 都 支持 此 声明 的 构想 。 该 
声明 不 是 提出 标准 ， 而 只 是 表达 意向 ， 由 云 计算 领域 的 商家 签署 ， 实 现 互 操作 的 开放 云 计 算 
平台 。 声 明 的 目的 是 指导 首席 信息 官 、 政 府 、IT 用 户 和 想 使 用 云 计 算 建 立 一 套 云 计算 核心 
标准 的 领导 者 。 
该 声明 列举 了 云 计算 的 优势 ， 探 讨 了 它 面临 的 障碍 和 挑战 。 这 个 开放 的 云 平 台 目 标 可 以 
概括 如 下 : 
o 选择 。 随 着 开放 式 技 术 的 应 用 ， 当 企业 经 营 环境 变化 时 ,将 有 可 能 为 消费 者 选择 最 
好 的 供应 商 、 体 系 结构 或 使 用 模型 。 此 外 ， 使 用 开放 技术 简化 了 云 计算 解决 方案 的 
整合 ， 不 同 的 供应 商 提 供 解 决 方案 或 现 有 基础 设施 ， 从 而 促进 各 供应 商 采用 声明 提 
供 的 平台 。 
e 灵活 性 。 如 宁 不 同 供应 商 不 使 用 封闭 的 专 有 技术 ， 一 个 供应 商 和 另 一 个 供应 商 之 间 
的 转换 将 变 得 更 容易 ， 封 闭 的 专 有 技术 意味 着 相当 大 的 转换 成 本 。 

o 快速 和 敏捷 。 如 前 所 述 ， 开 放 的 技术 促进 云 计 算 解决 方案 和 现 有 的 软件 系统 的 整合 ， 
从 而 实现 快速 和 灵活 性 的 缩放 需求 。 

© 技能 。 开 放 技 术 简 化 学 习 过 程 ， 有 助 于 达成 共识 以 设计 、 开 发 、 部 署 跨 多 个 供应 商 
的 系统 。 这 方便 组 织 机 构 找 到 他 们 需要 的 具有 适当 技能 的 人 。 

声明 以 一 组 推荐 结束 ， 鼓 励 云 计算 厂商 追求 开放 的 协作 和 适当 的 标准 ， 鼓 励 使 用 现 有 的 
标准 而 不 是 专 有 的 解决 方案 ， 合 适 的 新 标准 的 起 草 应 作为 基于 社区 的 努力 结果 。 

通过 证 明 开 放 云 计算 平台 的 优势 ， 声 明 在 概念 上 奠定 了 云 联盟 方案 的 基础 。 事 实 上 ,使 
用 开放 的 技术 将 创造 一 个 更 灵活 的 环境 ，IT 消费 者 可 以 更 方便 地 选择 云 计 算 技 术 ， 不 会 感 
觉 到 供应 商 绑 定 的 威胁 。 云 计算 联盟 的 概念 促进 了 这 个 初始 远景 的 发 展 ， 这 意味 着 一 个 更 加 
结构 化 和 明确 的 合作 。 

(2) 分 布 式 管 理 任 务 组 

分 布 式 管理 任务 组 (DMTF) 是 一 个 包括 4000 多 个 成 员 、44 个 国家 和 近 200 个 团体 机 
构 的 组 织 。 它 是 一 个 工业 组 织 ， 领 导 互 操作 管理 标准 的 制定 、 采 纳 和 推广 。 具 体 到 云 计算 ， 
DMTF 介绍 了 开放 虚拟 化 格式 (OVF)， 支 撑 了 几 个 云 技 术 互 操作 的 项 目 ， 如 开放 云 标 准 退 
化 器 ， 云 管理 工作 组 (CMWG) 和 云 审计 数据 联合 工作 组 (CADFWG)。 

开放 虚拟 化 规范 (OVE) [51] 是 一 个 与 服务 供应 商 无 关 的 规范 ， 封 装 设计 标准 以 易于 
虚拟 设备 在 不 同 的 虚拟 平台 之 间 迁 移 和 部 署 。 独 立 软 件 供应 商 (ISV) 使 用 OVF 封装 安全 地 


分 发 应 用 程序 ， 系 统 映 像 可 以 导 和 人 和 部 署 在 多 个 平台 上 ， 从 而 实现 跨 平台 可 移植 性 。Dell、. 


HP. IBM. Microsoft, VMWare 和 XenSource 协同 努力 制定 了 该 规范 ， 定 义 了 封装 软件 的 
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平台 独立 的 虚拟 化 规范 。2008 年 ， 他 们 向 DMTF 提交 了 一 个 初步 的 草案 ， 目 前 DMTF 已 经 
发 布 工 1.0 版 本 的 标准 ， 并 被 批准 为 美国 国家 标准 协会 (ANSI) INCITS 469-2010 标准 。 该 
标准 规范 的 主要 目的 是 为 分 配 封 装 软件 系统 提供 一 个 平台 无 关 的 规范 。 因 此 ， 该 规范 的 主要 
特点 如 下 : 


e 优化 分 配 。 规 范 支 持 验证 和 完整 性 检查 ， 基 于 行业 标准 的 公 钥 基础 设施 提供 了 一 个 

基本 的 许可 证 管理 方案 。 
e 优化 简单 的 、 自 动 的 用 户 体 验 。 支 持 验 证 整个 包 、 每 个 虚拟 机 或 元 数据 的 组 件 。 
o 支持 单 虚拟 机 和 多 虚拟 机 的 配置 。 能 封装 单一 映像 应 用 程序 或 复杂 的 多 层 系统 。 
o 便携 式 厂商 和 平台 独立 的 虚拟 机 封装 。OVF 设计 是 平台 无 关 的 ， 但 允许 特定 平台 增 
oR AHA o 

e 可 扩展 。 尽 管 目 前 的 标准 已 经 能 够 捕捉 封装 一 个 虚拟 机 需要 的 所 有 数据 ,但 OVF 仍 
然 为 未 来 的 需求 提供 了 扩展 和 定义 新 功能 的 方法 。 

o 本 地 化 。 该 规范 允许 在 多 个 地 方 租 入 用 户 可 见 的 描述 ， 因 此 ， 可 大 范围 跨越 系统 和 
市 场 立即 准备 进行 处 理 。 

o 开放 标准 。 该 规范 格式 已 经 引起 业界 主要 供应 商 的 合作 ， 它 的 发 展 将 带动 一 个 公认 
的 行业 论坛 ， 以 保障 未 来 的 传播 和 使 用 。 

从 技术 的 角度 来 看 ，OVF 定义 了 一 个 虚拟 机 模板 的 传输 机 制 。 一 个 单独 的 OVF 包 可 以 
包含 一 个 或 多 个 虚拟 机 映像 ， 一 旦 部 署 到 主机 系统 ， 便 可 增加 为 实现 特定 目标 的 一 个 自 包含 
的 、 自 我 一 致 的 软件 解决 方案 。 采 用 OVF 的 例子 有 Linux, Apache, MySQL, PHP (LAMP) 
栈 或 划分 为 一 个 或 多 个 虚拟 映像 的 任何 其 他 组 件 的 组 合 。OVF 的 重点 是 交付 一 个 封装 好 的 、 
可 移植 的 、 随 时 使 用 并 可 验证 的 软件 装置 。 为 了 实现 这 一 目标 ， 它 允许 封装 多 个 虚拟 实例 ， 
以 及 在 虚拟 硬件 部 署 所 需 的 描述 。 目 前 ，OVF 大 多 采用 多 层 体 系 结构 实现 应 用 软件 或 系统 ， 
系统 组 件 可 以 分 布 在 多 个 计算 节点 ， 每 个 节点 需要 不 同 的 操作 系统 和 硬件 特性 。 通 过 支持 单 
一 包 内 的 多 个 虚拟 映像 ，ISV 可 以 封装 和 保证 整个 系统 是 一 个 整体 ， 将 其 作为 一 个 单一 组 件 
发 布 。 

可 移植 性 是 OVF 的 基本 性 质 ， 它 完全 解决 了 在 很 宽 的 虚拟 硬件 范围 内 部 署 软件 应 用 所 
产生 的 潜在 问题 ， 确 定 不 同 层次 的 可 移植 性 : 

e 1 级。 封闭 设备 运行 在 一 个 特定 的 产品 或 CPU 架构 或 虚拟 硬件 上 。 

e 2 级 。 封 装 设备 运行 在 一 个 特定 的 虚拟 硬件 系列 。 

e 3 级 。 封 装 设备 上 运行 多 个 虚拟 硬件 系列 。 

决定 OVE 包 的 可 移植 级 别 的 是 封装 在 设备 中 的 信息 及 其 特定 需求 。1 级 的 可 移植 性 主 
要 是 虚拟 硬件 具体 信息 不 支持 OVE 的 部 署 ， 即 便 是 在 相似 的 虚拟 机 管理 程序 中 的 部 署 。 这 
些 信息 可 能 是 虚拟 机 的 暂停 状态 或 快照 。2 级 的 可 移植 性 在 管理 域 是 可 以 接受 的 ， 这 决定 了 
虚拟 化 技术 的 采用 可 能 是 最 为 集中 的 。3 级 的 可 移植 性 是 预期 和 独立 软件 开发 商 需 要 的 ， 封 
疯 设 备 能 够 在 任何 虚拟 平台 部 署 。 在 云 联 盟 的 背景 下 ， 对 于 无 颖 的 不 同 供应 商 之 间 的 合作 ， 
这 征 预 期 的 可 移植 性 的 级 别 。OVF 规范 自 公布 以 来 ， 已 经 相当 肯定 地 被 接受 了 ， 一 些 开源 


项目 和 商业 产品 能 导入 软件 作为 OVF 包 发 布 。 


开放 云 标准 孵化 器 是 另 一 个 重要 的 项 目 , 它 是 由 DMTF 推动 的 ， 目 的 是 促进 云 技术 间 
的 互 操作 性 。 通 过 开发 云 管理 用 例 、 体 系 结构 、 定 义 合 作 ， 胰 化 器 的 重点 是 云 计算 环境 之 间 
的 合作 的 标准 化 。 在 2010 年 7 月 结束 的 孵化 器 活动 中 ， 产 生 了 一 系列 白皮书 ([137] 、[138] 
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和 [139] )， 指 导 开 发 可 互 操作 的 云 系统 。 这 些 白皮书 是 云 管 理工 作 组 (CMWG) 的 出 发 点 ， 
其 目的 是 提供 一 套 约 定 俗 成 的 规范 ， 赋 予 架 构 语 义 和 定 义 实施 细节 ， 实 现 服务 请 求 者 /开发 
者 和 供应 商 之 间 的 云 互 操作 管理 。 另 一 个 相关 的 DMTF 提议 是 云 审 计数 据 联 合 (CADF) 工 
作 组 ,将 主要 定义 可 互 操作 的 API， 制 作 和 共享 具体 审计 事件 、 日 志 信息 和 每 一 个 租户 的 报 
表 ， 从 而 简化 异 构 云 计算 环境 的 监测 。 

DMTF 对 实现 一 个 可 互 操作 的 云 环境 做 出 了 重要 贡献 ， 其 唯一 具体 的 活动 是 发 布 OVF 
规范 。 不 过 ， 工作 组 和 相关 文件 的 活动 ， 为 实现 开放 的 方式 云 联 盟 铺 平 了 道路 。 

(3) 开放 云 计算 接口 

开放 云 计算 接口 ( OCCI) ?是 一 个 开放 的 组 织 ， 包 括 一 组 社区 推动 的 和 通过 开放 网 格 论 
坛 发 布 的 规范 。 这 些 规范 定义 了 一 些 协议 和 几 种 管理 任务 的 API。 最 初 的 设想 是 为 laas 式 
服务 创建 远程 管理 API， 现 在 OCCI 已 演变 成 一 个 更 广泛 的 针对 集成 、 可 移植 性 和 互 操作 性 
的 API。 目 前 的 规范 覆盖 了 云 计算 的 三 个 产品 市 场 : IaaS PaaS 和 SaaS。OCCI 目前 已 发 布 
三 份 文档 ， 其 中 定义 了 : 

© OCCI 核心 模型 的 形式 化 定义 。 

e laas 领域 的 OCCI 基础 设施 扩展 的 定义 。 

e OCCI 实施 模型 ， 它 定义 了 如 何 通 过 HTTP 的 REST 与 OCCI 核心 模型 交互 。 

除了 这 些 ，OCCI 还 致力 于 其 他 标准 ， 涵盖 计 费 、 监 控 、 提 前 预订 、 协 商 和 协议 。 

图 11-8 给 出 了 一 个 开放 云 计 算 接口 参考 模型 ， 定 义 了 访问 给 定 的 云 供 应 商 所 管理 的 资 
源 的 单一 接 人 点 。 
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图 11-8 OCCI 参考 模型 
定义 可 互 操 作 的 平台 最 相关 的 规范 是 OCCI 核心 模型 ( GFD.183—OCCI 核心 )。 该 文档 
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定义 了 边界 协议 和 API，API 是 到 供应 商 的 内 部 管理 框架 的 服务 前 端 。 此 接口 设计 用 来 同时 
服务 消费 者 和 其 他 系统 。 本 规范 重点 不 是 定义 任何 特定 的 领域 ， 其 主要 范围 是 提供 一 种 内 
置式 分 类 系统 ， 人 允许 对 特定 领域 使 用 安全 扩展 。 因 此 ， 它 提供 了 一 个 参考 模型 ， 构 建 一 种 类 
型 尽 可 能 灵活 的 系统 ， 并 支持 可 扩展 性 。 这 使 得 客户 端 可 以 动态 发 现 支 持 这 一 标准 的 资源 模 
型 。 资 源 是 模型 的 基本 元 素 ， 可 以 是 任何 类 型 的 ， 并 根据 资源 供应 商 操作 的 上 下 文 不 同 而 有 
所 不 同 ， 比 如 ，IaaS 供应 商 是 虚拟 机 或 模板 ， 作 业 管 理 系统 是 作业 或 任务 ， 等 等 。 这 些 资 
源 通 过 联系 相连 接 ， 它 允许 客户 端 查看 它们 是 如 何 连 接 在 一 起 的 。 资 源 和 联系 构成 实体 ， 可 
以 用 来 定义 一 个 特定 的 类 型 。 除 了 实体 ， 类 型 由 活动 定义 ， 表 示 可 对 该 类 型 的 实例 进行 的 操 
作 。 为 了 支持 灵活 性 和 扩展 性 ， 混 合用 于 聚合 已 经 存在 的 类 型 和 增强 它们 的 功能 ， 

这 个 参考 模型 由 OCCI 基础 设施 文档 (GFD.184 一 OCCI 基础 设施 ) 指定 ， 该 文档 定义 了 
OCCI 如 何 根 据 前 一 参考 模型 进行 建 模 并 实现 一 个 laas API。 在 这 种 情况 下 ， 公 共 资 源 是 计 
F, 存储 和 网 络 。 联 系 可 以 是 类 型 NetworkInterface 和 StorageLink. 

这 些 组 件 可 以 用 来 表示 任何 laas 供应 商 提供 的 任何 服务 ， 并 描述 它们 的 行为 和 属性 

OCCI 模型 的 实际 执行 可 通过 基于 HTTP 的 RESTful 接口 进行 访问 。 该 OCCI 实施 模型 
标准 (GFD.185 一 OCCI HTTP 提供 )， 定 义 了 该 模型 可 以 被 传输 并 通过 HTTP 进行 序列 化 。 
因此 ,为 了 兼容 OCCI， 云 资源 供应 商 必须 实施 以 下 两 个 步骤 : 

1 ) 根据 OCCI 核心 模型 定义 所 提供 的 服务 和 资源 。 

2) 根据 OCCI 的 HTTP 模型 ， 提 供 一 个 RESTful 接口 ， 人 允许 客 户 端 发 现 供应 商 发 布 的 
资源 集合 。 

如 果 云 供应 商 是 一 个 laas 的 供应 商 ， 那 么 OCCI 基础 设施 文档 是 基础 ， 供 应 商 可 以 按 
照 该 文档 开发 应 用 。 

目前 ， 开 放 云 计算 接口 支持 与 几 种 构建 云 计算 服务 的 技术 互 连 ， 主 要 用 在 Iaag 方案 。 
各 种 开源 产品 (jCloud, libvirt, OpenNebula 和 OpenStack)、 研 究 项 目 ( RESERVOIR, Big 
Grid, Morfeo Claudia, Emotive) 和 财团 (SLA @ SOI) 都 在 提供 的 服务 中 支持 OCCI 接口 ， 
最 初 是 在 Sun Microsystems, Rabbit MQ 和 Univesidad Complutense de Madrid 共同 努力 下 开 
发 的 OCCI， 如 今 在 学 术 界 和 工业 界 涉及 超过 250 个 组 织 ， 如 Rackspace, Oracle, GoGrid 
和 Flexiscale。 有 了 这 种 强大 的 支持 ，OCCI 将 定义 云 联盟 的 云 互 操作 性 标准 

(4) 云 数据 管理 接口 

云 数 据 管理 接口 (CDMI) [136] 是 一 个 函数 接口 标准 ， 应 用 程序 将 使 用 它 来 从 云 中 创 
建 、 检 索 、 更 新 和 删除 数据 元 素 。 此 接口 还 提供 了 设备 用 于 发 现 给 定 的 云 存 储 产品 的 性 能 。 
CDMI 已 经 由 云 存储 网 络 工业 协会 (SNIA) 的 云 存 储 技术 工作 组 提出 ，SNIA 是 一 个 推动 IT 
信息 管理 标准 的 协会 ， 尤 其 专注 于 数据 存储 。SNIA 还 提出 了 CDM 参考 实现 ， 从 而 通过 社 
区 的 反馈 ， 有 利于 加 快 工作 标准 的 制定 过 程 。 

该 规范 介绍 和 定义 了 云 存储 的 概念 ， 作 为 “ 按 需 交付 虚拟 存储 "， 也 称 为 数据 存储 即 服 
务 ( DaaS)。DaaS 的 主要 概念 是 抽象 数据 存储 ， 其 后 面 是 一 组 接口 ， 并 使 其 按 需 提供 。 这 
个 定义 封装 了 相当 广泛 的 存储 架构 。 云 存储 参考 模型 如 图 11-9 所 示 。 云 数据 管理 服务 通过 
RESTful 接口 向 用 户 提供 CDMI。 这 样 的 接口 能 够 获取 信息 、 数 据 和 存储 服务 ， 可 以 利用 它 


405| ”来 访问 存储 云 。 最 终 可 以 依靠 几 种 不 同 的 技术 来 实现 数据 和 存储 服务 。 


O 据 报 道 该 文档 即将 公布 ， 但 在 写 此 书 时 还 不 可 用 。 
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客户 端 代理 在 使 用 数据 存储 接口 中 的 作用 
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图 11-9 云 存储 参考 模型 


该 接口 包含 对 象 模型 ， 允 许 客户 操作 和 发 现 数据 组 件 。 对 象 模 型 包含 以 下 组 件 : 

e 数据 对 象 。 这 些 都 是 CDMI 中 的 基本 存储 组 件 ， 类 似 文件 系统 中 的 文件 。 数 据 对 象 
有 一 套 明 确定 义 的 单 值 的 域 。 此 外 ， 它们 可 以 支持 描述 对 象 的 元 数据 ， 云 数据 由 存 
储 系 统 或 客户 提供 。 

eo 容器 对 象 。 容 器 对 象 是 用 于 存储 数据 的 基本 抽象 。 一 个 容器 可 以 有 零 个 或 多 个 子 对 
象 和 一 组 明确 定义 的 域 。 至 于 数据 对 象 ， 容 器 也 支持 元 数据 。 容 器 支持 嵌 套 和 一 个 
继承 其 父 容 器 的 所 有 数据 系统 元 数据 的 子 容 需 。 

e 域 对 象 。 域 对 象 和 容器 对 象 十 分 相似 ， 它 们 用 来 代表 一 个 CDMI 存储 系统 中 管理 的 
所 有 权 。 由 于 数据 的 聚合 视图 对 管理 有 用 ， 所 以 容器 支持 嵌 套 和 促进 信息 流 癌 上流。 

© 队列 对 象 。 队 列 是 一 类 特殊 的 容器 ， 在 存储 和 检索 数据 时 提供 先进 先 出 (FIFO) 访 
问 。 队 列 在 支持 读者 - 写 者 和 生产 者 - 消费 者 模式 的 存储 数据 管理 方面 是 有 用 的 。 
队列 总 是 有 一 个 父 对 象 ， 从 父 对 象 继 承 系统 元 数据 。 

o 功能 对 象 。 功 能 对 象 是 一 类 特殊 的 容器 对 象 ， 允 许 CDMI 客户 端 发 现 CDMI 供应 商 


29 ZZA LCwAFSSAHWHA 


实现 的 CDMI 标 准 的 子 集 的 内 容 。 功能 是 交互 集 的 描述 符 ， 系 统 能 够 执行 它 们 所 连 
接 的 URI。 对 象 模型 中 定义 的 每 个 实体 要 求 有 一 个 表示 URI 的 域 、 该 对 象 的 功能 可 
以 通过 URI 检索 。 每 一 个 CDMI 标准 的 接口 必须 能 列 出 每 个 特定 对 象 的 功能 、 AR 
持 标准 中 列 出 的 所 有 功能 则 是 可 选 的 - 
使 用 简单 的 REST 定义 的 操作 、 客 户 端 可 以 发 现 和 处 理 这 些 对 象 ， 如 创建 、 检 索 、 更 新 
和 删除 对 人 象 (CRUD : Create，Retrieve，Update，Delete )。 所 支持 的 操作 集 由 连接 到 各 实体 
的 功能 来 定义 。 除 了 REST 允许 的 基本 操作 ， 相 比 其 他 协议 和 标准 、CDMI 还 支持 快照 、 序 
列 化 和 反 序 列 化 、 日 志和 互 操作 。 
CDMI 最 初 于 2010 年 提出 ， 是 从 其 他 几 个 机 构 收 集 的 云 计 算 技 术 的 标准 化 的 共识 ， 已 
被 列 人 发 展 和 研究 蓝图 。 目 前 ， 通 过 与 各 大 标准 化 组 织 的 互 操 作 ，SNIA ERS AH CDMI 
转型 为 法 律 标准 , QO ISOAEC Ñ INCITS®. 
(5) 云 安 全 联盟 
云 安全 联盟 (CSA) 是 非 营利 性 机 构 ， 使 命 是 推广 最 佳 使 用 实践 ， 提 供 云 计算 安全 和 教 
育 保 证 ， 使 用 云 计 算 来 帮助 保护 其 他 形式 的 计算 。CSA 提供 了 讨论 安全 实践 的 环境 和 开发 
可 靠 和 安全 的 云 计 算 系 统 的 指导 ， 而 不 是 作为 一 个 标准 化 团体 - 
CSA 最 相关 的 实现 是 云 控 制 算 阵 (CCM)。 和 矩阵 专门 用 来 提供 基本 的 安全 原理 ， 指 导 云 
供应 商 和 协助 可 能 的 云 服务 消费 者 评估 利用 云 服务 供应 商 隐 含 的 整体 风险 。 该 文档 准备 考虑 
最 重要 的 安全 标准 、 法 规 和 控制 框架 ， 如 ISO 27001/27002, ISACA COBIT, PCI # NIST. 
CCM 加 强 了 云 计 算 中 现 有 的 信息 安全 控制 环境 ， 列 举 了 在 云 中 应 该 采用 的 安全 方法 ， 这些 
安全 方法 已 存在 于 其 他 领域 。 
在 云 联 盟 环境 中 ，CCM 的 相关 性 非常 明显 。 它 提供 了 一 个 标准 化 的 方法 来 评估 安全 性 
措施 ， 落 实 到 每 个 云 服务 供应 商 ， 并 帮助 定义 云 联盟 方 案 中 最 低 的 安全 配置 文件 ， 从 而 在 概 
念 上 提高 对 联盟 的 信任 。 
(6) 其 他 标准 化 工作 
除了 主要 的 标准 化 工作 ,还 有 一 些 工作 ， 通 过 特定 的 组 织 机 构 的 认可 ， 或 在 非常 具体 的 
环境 中 使 用 云 计算 。 其 中 最 相关 的 是 : 
© 美国 国家 标准 和 技术 研究 院 (NIST)。 正 如 在 第 4 章 讨论 的 ，NIST 提出 了 目前 广泛 
接受 的 云 计算 定义 。 另 一 重要 的 举措 是 加 速 采 用 云 计算 的 标准 战略 (SAJACC)、 此 
工作 大 多 与 现 有 云 计 算 中 标准 的 评估 有 关 ， 积 极 推动 建立 开放 标准 、 并 找 出 现 有 标 
准 的 差距 。 

e 云 计 算 互 操作 论坛 (CCIF )。 这 个 工业 论坛 最 初 由 几 名 云 计算 领域 参与 者 支持 ， 并 
形成 全 球 云 计算 生态 系统 ， 使 得 企业 可 以 无 库 地 协同 运作 ，、 以 促进 该 技术 被 更 广泛 
地 采用 。 论 坛 的 活动 仅 限于 2009 年 一 个 单独 的 事件 、 产 生 了 统一 云 接 D (UC) 9 
提议 ， 这 是 一 种 尝试 ， 为 各 种 不 同 厂商 公开 的 API RHR, PSM EC2 和 
Enomaly ECP 已 经 实现 了 该 功能 。 

© 开放 云 联盟 (OCC)。 这 个 非 营 利 组 织 管 理 云 计算 基础 设施 以 支持 科学 研究 。 该 公司 
还 为 云 计 算 技术 研究 实现 参考 模型 、 基 本 准则 以 及 标准 化 。 


© 国际 信息 技术 标准 委员 会 (INCITS) 是 美国 在 信息 和 通信 技术 (ICT) 领域 的 主要 标准 化 组 织 。 
© 参考 http://code.google.conyp/unifiedCloud/ (2011 年 5 月 17 ERR). 
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© 全 球 跨 云 技术 论坛 (GICTF)。GICTF 是 日 本 的 组 织 ， 其 目的 是 汇集 行业 、 学 术 界 及 
政府 的 研究 成 果 ， 支 持 研 究 和 开展 云 互 操作 性 技术 可 行 性 测试 。 更 确切 地 说 ， 该 论 
坛 看 重 于 网 络 协议 的 标准 化 ， 使 云 之 间 能 通过 接口 发 生 互 操作 。 
e 云 工作 组 。 开 放 组 的 倡议 旨 在 在 买 家 和 供应 商 之 间 建 立 共 识 ， 主 题 是 所 有 大 小 和 规 
模 的 企业 如 何 利 用 云 计 算 技 术 。 该 工作 组 已 进行 了 若干 活动 ， 以 提高 对 云 计算 技术 
的 业务 理解 、 分 析 和 领会 。 
”还 有 一 些 其 他 举措 ， 它 们 涵盖 了 云 计算 领域 中 标准 和 规范 的 创建 ， 这 与 支持 不 同 的 云 服 
务 供应 商 的 互 操作 不 是 完全 相关 ， 但 仍然 是 支持 云 联盟 方案 技术 发 展 的 步骤 之 一 ， 其 方案 基 
于 云 联盟 的 规则 、 策 略 和 模型 。 
2. 安全 
云 计 算 通 过 利用 大 量 计算 基础 设施 支持 弹性 可 扩展 的 系统 的 开发 ， 最 终 托管 应 用 程序 、 
服务 和 数据 。 在 这 种 情况 下 ， 安 全 问题 是 不 容 忽视 的 基本 要 求 。 在 云 联 盟 的 情况 下 ， 安 全 管 
理 更 加 复杂 ， 其 中 的 机 密 信 息 在 多 个 云 计算 厂商 间 动 态 移动 。 
自 要 问题 之 一 是 ， 云 供应 商 是 否 能 提供 足够 的 透明 度 来 实现 所 需 的 安全 管理 流程 ， 以 保 
护 用 户 的 数据 和 应 用 程序 。 实 施 和 部 署 所 需 的 安全 基础 设施 对 理解 谁 负 责 提 供 云 计算 服务 
和 谁 使 用 云 计 算 服 务 是 非常 重要 的 。 云 计算 是 安全 问题 的 一 个 新 领地 ， 相 对 于 管理 服务 供应 
商 ， 其 中 管理 安全 基础 设施 由 服务 供应 商 完 全 处 理 ， 在 云 安全 部 署 管 理 中 则 在 供应 商 和 客户 
之 间 划 分 。 双 方 的 责任 根据 服务 产品 的 类 型 变化 。 在 访问 虚拟 机 实例 或 云 存储 的 审计 和 日 志 
方面 ，IaaS 供应 商 要 求 提供 基本 安全 。Paag 供应 商 期 望 为 应 用 程序 提供 一 个 安全 的 开发 平 
台 和 运行 时 环境 。SaaS 的 供应 商 在 安全 性 方面 负 有 主要 责任 ， 因 为 他 们 必须 要 建立 一 个 安 
全 的 计算 栈 (基础 设施 、 平 台 和 应 用 程序 )， 用 户 根 据 他 们 的 需求 定制 计算 栈 。 
尽管 云 计算 引入 了 新 内 容 ， 但 也 可 能 从 考虑 现 有 的 安全 框架 和 实践 为 出 发 点 ， 来 安全 地 
运行 应 用 程序 和 系统 。 特 别 地 ，ISO/IEC 27001/27002 标准 和 信息 技术 基础 设施 库 (ITIL) 服 
务 管理 框架 是 行业 标准 ， 能 在 安全 管理 过 程 和 实践 方面 提供 指导 。ITIL 是 一 组 定义 了 安全 
框架 的 指南 ， 包 括 策略 、 流 程 、 过 程 和 工作 说 明 。ITIL 不 是 一 个 标准 ， 因 此 ,组织 和 管理 
系统 不 能 被 认证 为 “ITIL 兼容 的 。 尽管 如 此 ， 这 些 指南 还 是 构成 了 实施 安全 措施 的 参考 模 
型 。ISO/IEC27001/27002 正式 定义 了 对 于 信息 安全 管理 系统 的 强制 性 要 求 ， 提 供 了 在 安全 
系统 中 实现 的 安全 控制 指南 。 总 之 ， 这 些 标准 有 助 于 组 织 机 构 确保 当前 安全 级 别 是 否 适 合 他 
们 的 需求 ， 并 实现 安全 保障 。 
云 安 全 管理 的 关键 要 素 如 下 [156]: 
e 可 用 性 管理 (ITIL ) 。 
e 访问 控制 (ISO/IEC 27002, ITIL). 
o 脆弱 性 管理 (ISO/IEC 27002 )。 
o 补丁 管理 (ITIL), 
e 配置 管理 (TIL), 
e 事件 响应 (ISO/IEC 27002 ) 。 
© 系统 使 用 和 访问 监控 (ISO/IEC 27002 )。 
这 些 元 素 构成 了 云 计算 系统 的 安全 参考 框架 ， 覆 盖 云 计算 参考 模型 的 所 有 层 ， 并 且 每 种 
类 型 的 云 服务 都 有 不 同 的 支持 方案 。 
安全 方面 的 总 体 视图 以 及 云 计算 供应 商 如 何在 三 个 不 同 层次 (IaaS、PaaS F Saas) 解决 
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安全 问题 的 描述 见 表 11-2。 在 确定 客户 的 安全 责任 及 规划 适当 的 措施 方面 ， 较 好 的 做 法 是 与 
供应 商 签 订 服 务 合同 。 该 合同 明确 规定 了 供应 商 的 活动 范围 和 对 客户 的 保证 。 此 外 ， 云 服务 
供应 商 的 API 和 服务 有 助 于 管理 安全 性 和 责任 。 云 供应 商 提 供 了 服务 控制 面板 ， 可 以 有 效 
整合 到 组 织 内 部 的 管理 流程 和 工具 。 目 前 ， 从 安全 的 角度 来 看 ， 云 计算 系统 的 安全 管理 缺乏 
企业 级 的 接 入 ， 而 企业 系统 管理 员 能 为 云 计 算 应 用 程序 定义 安全 的 整体 视图 。 

表 11-2 云 中 客户 安全 管理 责任 
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云 联 盟 产 生 了 新 的 必须 要 解决 的 问题 ， 提供 一 个 安全 的 环境 ， 以 便 可 以 在 一 组 联盟 供应 
商 之 间 移 动 应 用 程序 和 服务 。 这 需要 联盟 中 所 有 云 供应 商 来 保证 基本 安全 。 

一 个 有 趣 的 方面 是 跨 不 同 组 织 、 安 全 领域 和 应 用 程序 平台 的 数字 身份 管理 。 特 别 地 ， 
联盟 身份 管理 是 指 基于 标准 的 方法 在 联盟 环境 中 处 理 身 份 验证 、 单 点 登录 (SSO)， 以 及 基 
于 角色 的 访问 控制 和 会 话 管理 [157] 。 这 使 用 户 能 够 在 联盟 环境 中 更 有 效 地 利用 服务 ， 通 
过 认证 ， 只 需 一 次 便 可 登录 到 几 个 交易 实体 组 成 的 网 络 。 实 现 这 种 功能 依靠 的 是 开放 的 工 
业 标 准 或 公开 发 布 的 规范 (自由 联盟 统一 联合 框架 、OASIS 安全 性 断言 标记 语言 和 WS- 
Federation)， 使 得 互 操作 可 以 实现 。 无 论 具 体 的 协议 和 框架 是 什么 ， 可 以 考虑 以 下 两 种 主要 
方法 : 

® 集中 式 联盟 模型 。 这 是 多 种 身份 联盟 标准 采取 的 做 法 。 它 在 SSO 交易 中 区 分 两 种 操 

作 和 角色: 身份 供应 商 和 服务 供应 商 。 

® 基于 声明 的 模型 。 这 种 方法 从 不 同 的 角度 解决 用 户 认证 的 问题 ， 要 求 用 户 提供 声明 

回答 他 们 是 谁 ， 以 及 为 了 访问 内 容 或 完成 交易 他 们 可 以 做 什么 。 


O 开放 Web 应 用 安全 项 目 (OWASP) 是 一 个 开放 的 社区 ， 致 力 于 帮助 企业 设计 、 开 发 、 维 护 、 获取 和 操作 可 


以 信任 的 应 用 程序 。2010 年 组 织 出 版 了 OWASP 十 大 工程 ， 其 中 列 出 了 排名 前 十 位 漏洞 的 应 用 程序 。www. 
owasp,org/index.php/CategoryOWASP Top_Ten_Project。 

© SSO 是 单 点 登录 (single sign-on) 的 缩写 ， 表示 按 服务 的 集合 提供 功能 ， 人 允许 用 户 只 进行 一 次 身份 验证 ， 而 
不 是 显 式 地 提供 每 一 项 服务 的 凭据 。SAML 是 安全 声明 标记 语言 (security assertion markup language) 的 缩写 ， 
用 于 在 联盟 环境 中 提供 可 移植 框架 以 定义 安全 的 XML 方言 。 


现在 正在 使 用 第 一 种 模型 ， 第 二 种 模型 是 云 中 身份 管理 的 未 来 构想 。 
数字 喘 份 管理 是 云 联盟 安全 管理 的 一 个 基本 方面 。 为 了 跨越 不 同 的 管理 域 透明 地 进行 操 
作 ， 建 立身 份 验证 和 授权 机 制 框架 是 重要 的 ， 联 盟 身份 管理 解决 了 这 个 问题 。 之 前 的 安全 性 
考虑 有 助 于 设计 和 实施 由 各 层 云 供 应 商 和 用 户 应 用 程序 组 成 的 安全 系统 ; 联盟 身份 管理 能 够 
将 不 同 广 商 的 计算 栈 结合 在 一 起 ， 从 安全 的 角度 为 用 户 呈 现 一 个 单独 的 环境 。 
3. 法 律 问题 
除了 云 计算 所 需要 的 技术 复杂 性 ， 访 问 权限 、 隐 私 和 控制 是 云 计 算 所 特有 的 法 律 问题 。 
本 节 概 述 了 这 个 话题 ， 并 讨论 了 云 计 算 联 盟 案例 潜在 的 法 律 问 题 。 
企业 和 终端 用 户 利用 云 计算 将 系统 、 应 用 程序 或 个 人 资料 交付 给 第 三 方 控 制 ， 这 不 是 
正常 的 外 包 做 法 ， 这 一 点 已 得 到 了 广泛 的 认同 。 此 外 ， 可 以 观察 到 应 用 服务 供应 商 ( ASP) 
有 很 多 的 相似 性 ， 如 果 比 较 云 计算 和 传统 的 外 包 和 ASP 服务 交付 ， 可 以 得 出 以 下 结论 
[140]: 
e 外 包 一 般 涉及 一 个 企业 组 织 的 整体 业务 或 IT 流程 ， 而 且 为 了 客户 的 利益 他 们 都 是 面 
加 业务 的 。 该 软件 通常 属于 顾客 ， 并 且 在 客户 的 设备 上 部 署 和 管理 。 此 外 ， 这 种 安 
排 高 度 可 协商 ， 并 通过 长 期 和 复杂 的 合同 予以 规定 。 

© ASP 模式 构成 一 个 早期 的 Saas 交付 模式 的 实现 ， 这 并 不 意味 着 能 进行 任何 类 型 的 按 
再 扩展 。 在 此 方案 中 供应 商 拥有 的 软件 和 硬件 ， 可 能 位 于 多 个 事先 静态 已 知 的 位 置 。 
约定 是 可 以 商量 的 ,但 并 不 像 管理 外 包 那 么 复杂 。 

e 云 计 算 涵 盖 了 多 种 服务 模式 : 软件 、 基 础 设施 和 运行 平台 。 消 费 者 和 供应 商 之 间 的 

安排 都 相当 有 限 ， 主 要 是 基于 按 使 用 付费 的 模式 ， 该 模式 根据 适当 的 单位 (时间 、 市 
宽 、 人 存储 容量 或 交易 ) 计算 。 性 能 的 经 济 特性 驱动 供应 商 的 活动 ， 他 们 可 能 会 选择 定 
位 或 重新 定位 应 用 程序 和 系统 ， 最 大 限度 地 降低 成 本 和 提高 效率 。 此 外 ， 供 应 商 可 
能 有 多 个 分 散 数 据 中 心 ， 更 好 地 服务 于 各 种 各 样 的 客户 或 利用 有 利 的 环境 条 件 。 

云 计算 和 传统 方法 的 不 同 在 于 服务 供应 商 经 营 和 提供 服务 的 全 球 规模 特性 。 大 量 潜在 的 
客户 需要 服务 ， 促 使 供应 商 寻 找 那些 保证 交付 最 佳 服务 和 低 运 营 成 本 的 解决 方案 。 因 此 ， 通 
常 跨越 多 个 国家 的 稀 玖 的 基础 设施 是 相当 普遍 的 。 其 次 ， 因 为 云 计 算 提 供 IT 服务 作为 公共 
基础 设施 服务 ,动态 服务 租赁 和 消费 统一 安排 ,因此 不 适用 于 商业 用 途 。 其 结果 是 ， 多 个 服 
务 承 包 模 式 已 经 出 台 ， 包 括 许 可 、 服 务 协议 以 及 在 线 协 以。 

这 种 新 的 情况 使 现 有 的 法 律 管理 问题 更 复杂 ， 并 引入 了 新 的 问题 。 例 如 ， 地 理 分 散 的 数 
据 中 心 使 得 它 很 难保 证 数据 的 保密 性 和 私密 性 ， 特 别 是 当 数据 分 布 在 不 同 的 国家 的 不 同 司法 
管辖 区 时 。 目 前 已 经 有 法 律 法 规 可 管理 敏感 信息 ， 但 异 构 环 境 中 的 云 计算 服务 交付 ， 从 法 律 
的 角度 需要 不 同 的 方法 。 此 外 ， 服 务 消费 者 和 供应 商 之 间 的 动态 合同 导致 了 新 的 挑战 ， 需 要 
更 加 灵活 的 约定 ， 而 无 法 通过 复杂 的 谈判 取得 元 长 的 合同 规定 。 正 如 我 们 已 经 看 到 的 ,厂商 
绑 定 是 云 计 算 中 的 敏感 问题 ， 当 供应 商 申 请 破产 或 由 另 一 供应 商 接管 时 会 发 生 什 么 事 ? 以 前 
的 SLA 仍然 可 行 ? 这 种 情况 为 客户 提供 什么 保证 ? 此 外 ， 服 务 供应 商 可 以 规定 他 们 之 间 的 
协议 ， 这 必 将 导致 客户 的 敏感 数据 管理 更 复杂 。 举 例 来 说 ， 一 般 客户 不 会 在 其 所 租赁 的 服务 
以 外 进行 控制 ， 在 联盟 方案 中 ， 服 务 由 某 一 服务 供应 商 提供 ， 该 供应 商 不 同 于 SLA 约定 中 
的 供应 商 。 在 这 种 情况 下 ， 其 他 供应 商 的 机 密 性 、 保 密 性 、 完 整 性 和 数据 保留 有 什么 保证 ? 

我 们 把 与 云 计 算 相 关 的 法 律 问题 归 为 以 下 三 个 方面 : 隐私 、 安 全 和 知识 产权 ; Hike TH; 
立法 和 管辖 权 。 至 于 出 现任 何 颠 覆 性 的 技术 ， 支配 参与 者 的 交互 规则 总 是 洁 后 的 ， 这 种 技术 
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会 带 来 新 的 机 遇 和 方法 。 在 云 计算 的 情况 下 ， 法 律 滞后 于 技术 创新 ， 尽 管 人 们 正在 努力 。 

(1) 隐私、 安全 和 知识 产权 相关 问题 

这 类 问题 包括 因数 据 、 应 用 程序 和 服务 供应 商 提供 的 服务 而 产生 的 所 有 法 律 问 题 。 如 前 
所 述 ， 云 计算 意味 着 对 数据 和 应 用 程序 的 控制 交 给 第 三 方 。 为 客户 提供 一 个 可 靠 的 和 商业 上 
可 行 的 服务 ， 云 计算 供应 商 有 望 实施 适当 的 程序 以 保护 数据 的 完整 性 、 数 据 保 密 性 以 及 用 成 
的 隐私 。 在 这 种 情况 下 ， 应 用 不 同 的 法 律 有 时 也 可 能 发 生 冲 突 。 

关于 数据 的 私密 性 和 安全 性 的 法 律 也 许 是 最 先进 的 ， 这 是 因为 它 不 仅 适 用 于 以 云 计 算 为 
基础 的 系统 。 同 样 ， 不 同 的 国家 、 同 一 国家 内 不 同 的 州 ， 有 不 同 的 方法 和 发 展 阶段 。 美 国有 
相当 数量 的 立法 用 于 管理 隐私 和 安全 措施 ， 这 些 法 律 也 适用 于 云 计算 。 一 个 重要 的 美国 参与 
者 是 联盟 贸易 委员 会 (FTC)， 如 果 有 组 织 破坏 安全 和 隐私 法 规 ， 它 负责 进行 调查 来 评估 任何 
提供 金融 服务 或 从 事 销 售 产 品目 的 的 商业 活动 的 组 织 责 任 。 特 别 地 ， 数 据 泄 露 、 数 据 保护 和 
数据 访问 是 现行 立法 关注 的 对 象 : 


数据 泄露 ， 或 者 丢失 未 加 密 的 电子 存储 信息 ， 这 是 一 个 非常 敏感 的 问题 。 避 人 免 数 据 
泄漏 对 云 服 务 消费 者 和 供应 商都 非常 重要 。 前 者 具有 引起 第 三 方 的 敏感 信息 可 能 被 
滥用 的 直接 损失 (社会 安全 号 码 被 盗 、 信 用 卡 误 用 或 访问 个 人 医疗 数据 或 财务 状态 )。 
后 者 带 来 的 损害 是 由 于 财务 损失 、 潜 在 的 诉讼 、 声 誉 受 损 、FTC 调查 和 客户 的 流失 . 
因此 利益 双方 都 关心 如 何 采 取 防 止 数 据 泄 漏 的 措施 。 立 法 也 支持 这 些 措 施 : 美国 几 
乎 所 有 50 个 州都 要 求 在 数据 泄露 发 生 时 通知 受 影 响 的 人 士 。 因 此 ， 云 供应 商 的 系统 
受到 损害 须 通知 受 影响 的 人 ， 并 与 提供 这 些 数据 的 人 协调 。 数 据 破 坏 的 有 关 法 律 包 
插 和 健康 保险 流通 与 责任 法 案 (HIPAA) [145] 和 经 济 和 临床 健康 信息 技术 (HITECH) 
法 委 [144]. 

数据 保护 。 其 他 相关 的 注意 事项 是 确保 个 人 信息 保密 措施 落实 到 位 。 格 雷 姆 - 里 
奇 — 比 利 雷 (GLB) 法 [141] 要 求 金融 机 构 采 取 适 当 措 施 以 保护 个 人 信息 ， 防 止 未 经 
授权 访问 数据 。 要 求 管理 敏感 信息 的 云 供 应 商 : 中 证 明 他 们 已 经 部 署 了 适当 的 保护 
敏感 数据 的 措施 ; @ 四 合同 规定 同意 防止 未 经 授权 的 访问 ; @ 以 上 二 者 。 根 据 GLB 法 
案 ， 美 国联 邦 贸易 委员 会 要 求 参 与 提供 金融 服务 和 产品 的 所 有 的 企业 都 有 一 个 书面 
的 安全 计划 ， 以 保障 有 关 客 户 (保障 规则 [142] ) 的 信息 。 另 一 个 重要 的 保护 措施 是 
红旗 规则 [143] ， 这 迫使 金融 机 构 监 挖 和 阻止 潜在 的 可 能 盗窃 身份 的 可 疑 活动 。 组 织 
机 构 需 要 记载 他 们 采取 的 防止 身份 盗窃 的 策略 。 

数据 访问 。 除 了 各 自 所 有 者 之 外 ， 确 定 谁 可 以 访问 敏感 数据 时 ， 这 会 引起 法 律 问题 。 
美国 法 律 对 这 个 问题 采取 了 积极 行动 。 美 国 爱 国 者 法 案 [146] 赋予 任何 代表 美国 政 
府 的 组 织 以 权利 ， 可 获得 存储 在 电子 系统 中 的 个 人 财务 信息 和 学 生 信息 ， 这 类 信息 
查询 不 会 受到 任何 怀疑 。 该 法 案 要 求 组 织 机 构 阻 止 政府 访问 的 证 明 可 以 是 有 关 正 在 
进行 的 刑事 调查 。 持 有 财务 信息 的 机 构 可 能 无 法 通知 客户 政府 对 其 数据 的 访问 。 这 
个 法 案 所 赋予 的 权力 使 云 供应 商 处 于 不 能 给 相应 的 用 户 发 出 通知 以 提供 敏感 信息 的 
困境 。 


其 他 国家 和 洲际 组 织 有 不 同 的 做 法 。 欧 洲 联 盟 (EU) 于 1995 年 通过 了 欧盟 方针 保护 个 
人 数据 处 理 和 这 类 数据 隐私 转移 原则 。 属 于 欧盟 的 国家 必须 通过 数据 保护 法 ， 涵 羡 处 理 业 务 
和 消费 者 数据 的 政府 和 私营 实体 。 此 外 ， 欧 盟 个 人 数据 发 送 到 任何 地 域 ， 必 须 有 欧盟 标准 检 
测 得 到 的 数据 保护 级 别 。 这 直接 影响 了 许多 EU 云 供应 商 合 法 进入 和 运营 的 可 能 性 。 因 此 ， 
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必须 仔细 研究 在 欧盟 开展 业务 的 可 能 性 。 

除了 欧盟 ， 许 多 其 他 国家 和 地 区 也 已 经 通过 立法 保护 个 人 隐私 和 数据 的 安全 性 。 阿 根 廷 
有 类 似 欧 盟 的 做 法 。 香 港 有 个 人 资料 条 例 [148] ， 涵 盖 电 子 和 非 电 子 文档 的 公共 和 私人 的 数 
据 处 理 。 巴 西 将 隐私 权 表 达 为 宪法 权利 ， 但 关于 这 个 问题 没有 一 个 全 面 的 法 律 。 加 拿 大 采取 
了 不 同 的 方法 ， 有 一 个 组 织 对 组 织 的 方式 。 每 当 和 一 个 加 拿 大 的 公司 进行 交互 时 ， 不 管 其 地 
理 位 置 ， 都 要 使 用 个 人 信息 保护 与 电子 文件 法 案 (PIPEDA) [149] 保护 个 人 数据 的 级 别 。 总 
之 ， 加 拿 大 组 织 负责 保护 他 们 转让 给 第 三 方 的 个 人 信息 ， 不 管 双 方 是 在 加 拿 大 国内 还 是 国 
外 。 这 些 不同 的 法 规 不 仅 是 法 律 的 国际 冲突 的 根源 ， 也 表明 了 计算 公共 基础 设施 服务 交易 的 
全 球 化 在 法 律 支持 方面 的 不 成 熟 状 态 。 

另 一 个 值得 关注 的 因素 直接 关系 到 敏感 信息 在 云 中 的 处 理 方式 ， 这 就 是 知识 产权 CIP) 
权限 的 管理 。 在 这 种 情况 下 ， 不 是 保护 云 服 务 供 应 商 外 部 的 实体 数据 ， 而 是 保证 附属 在 数据 
上 的 知识 产权 ， 或 者 通过 应 用 程序 生成 的 托管 在 云 中 仍 属于 云 计 算 的 用 户 的 数据 ， 这 是 非常 
重要 的 。 适 用 于 保护 知识 产权 的 通常 是 经 验 法 则 ， 需 要 由 服务 使 用 者 和 服务 供应 商 之 间 适 当 
的 合同 条 蒜 强 制 执行 。 这 是 特别 重要 的 ， 万 一 云 服务 供应 商 申请 破产 或 托管 的 知识 产权 被 用 
于 增加 公司 的 价值 ， 相 关 法 律 将 有 利于 用 户 从 破产 的 供应 商 退 出 。 

(2) 商业 和 贸易 相关 问题 

云 服务 供应 商 与 用 户 之 间 的 具体 合同 条 款 和 约定 的 结果 可 能 引起 法 律 问题 。 需 要 合同 条 
和 款 能 够 处 理 的 问题 ， 如 : 

e 双方 之 间 约 定 的 服务 定义 了 什么 ? 

e 双方 各 目的 责任 是 什么 ? 

e 依靠 指定 的 供应 商 ， 用 户 运 行 有 什么 风险 ? 

e 保证 用 户 访问 其 数据 的 措施 是 什么 ? 

合同 可 以 认为 是 法 律 问 题 的 第 一 种 类 型 。 这 些 问题 涉及 云 供 应 商 和 消费 者 之 间 的 协议 的 
具体 性 质 。SOA 普及 之 前 ， 许 可 协议 作为 软件 合约 最 常用 的 形式 已 不 再 适用 。 服 务 协议 在 
云 计 算 方案 中 是 处 理 约定 更 合适 的 形式 ， 因 为 来 自 合 约 实体 的 软件 产品 没有 真正 的 传输 ， 并 
且 IT 服务 是 作为 实用 工具 来 提供 和 定价 的 。 在 云 计 算 (laas, Paas 或 SaaS) 的 任何 细 分 市 
场 ， 控 制 和 接 人 点 由 云 供 应 商 提供 ， 协 议 涵 盖 使 用 本 服务 的 所 有 基本 条 款 及 条 件 ， 如 果 服 务 
中 断 ， 明 确 规 定 供应 商 的 责任 。 一 般 情 况 下 ， 用 户 的 选择 非常 有 限 ， 用 户 无 法 洽谈 在 线 协 议 
形式 的 合同 条 款 。 由 于 这 是 结合 了 两 个 实体 的 唯一 文件 ， 对 供应 商 采 用 的 政策 有 明确 的 规范 
和 遵守 现 有 法 律 的 相关 政策 是 非常 重要 的 。 同 样 重要 的 是 ， 确 认 如 果 出 现 数据 泄露 ， 供 应 商 
的 责任 是 什么 。 在 大 多 数 情 况 下 ， 供 应 商 的 责任 非常 有 限 ， 最 好 的 情况 是 有 赔偿 用 户 的 服务 
存款 。 由 于 这 些 条 款 是 不 可 协商 的 ， 消 费 者 使 用 该 服务 协议 时 要 仔细 评估 是 否 签署 与 供应 商 
的 协议 。 随 着 越 来 越 多 的 企业 和 关键 任务 应 用 程序 迁移 到 云 中 ， 必 须 有 一 个 更 强大 和 平衡 的 
合同 形式 。 

一 些 企业 和 商业 方面 的 考虑 也 可 能 影响 供应 商 和 消费 者 之 间 的 合约 安排 。 例 如 ， 旨 在 尽 
量 减 少 消费 者 对 供应 商 的 生存 能 力 及 存储 在 云 中 的 数据 的 未 来 可 用 性 的 考虑 的 措施 是 值得 
关注 的 因素 。 这 些 问 题 必须 在 协议 中 涉及 。 有 助 于 最 大 限度 地 降低 风险 的 要 素 是 旨 在 保护 数 
据 的 完整 性 的 措施 ， 具 体 的 SLA 给 出 计划 中 断 时 服务 可 用 性 保证 的 百分比 和 灾难 恢复 指 施 。 
该 供应 商 的 生存 能 力 是 男 一 个 方面 ， 有 助 于 与 给 定 的 供应 商 达 成 协议 的 最 终 决定 。 由 于 厂商 
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绑 定 仍然 是 一 个 现实 ， 所 以 供应 商 的 业务 生存 能 力 是 基础 ， 这 也 是 因为 源 代 码 托管 “在 这 种 
情况 下 无 效 。 未 来 破产 的 风险 不 是 阻止 持久 和 连续 地 访问 数据 和 应 用 的 唯一 威胁 。 其 他 威胁 
包括 终止 供应 商 的 业务 活动 或 供应 商 被 男 一 家 公司 收购 。 在 这 些 情 况 下 ， 客 户 的 SLA 应 明 
确 制 定 政策 ， 以 保证 能 持久 访问 客户 数据 。 

(3) 管辖 权 和 程序 问题 

管辖 权 和 程序 的 法 律 问题 起 因 于 云 计算 的 两 大 方面 : 云 供应 商 提供 服务 的 数据 和 应 用 程 
序 的 地 理 位 置 ， 以 及 一 旦 诉讼 适用 的 法 律 和 法 规 。 

管辖 权 间 题 大 多 涉及 数据 的 位 置 和 应 用 在 该 位 置 的 具体 法 律 。 云 服务 供应 商 位 于 他 们 的 
数据 中 心 ， 以 降低 运营 成 本 。 数 据 中 心 的 位 置 受 以 最 佳 方式 在 全 球 范 围 内 服务 客户 的 愿望 的 
影响 。 出 于 这 个 原因 ， 在 全 球 各 地 分 布 单个 的 云 服 务 供应 商 的 基础 设施 是 很 常见 的 。 有 具体 的 
问题 都 起 因 于 应 用 于 数据 保护 的 不 同 的 法 律 。 例 如 ， 欧 盟 指 令 规定 ， 在 欧盟 内 部 产生 的 任何 
个 人 资料 以 及 这 些 数 据 导出 到 第 三 方 国家 时 要 遵守 欧盟 法 律 。 如 果 不 能 保证 适当 的 数据 保护 
级 别 ， 就 限制 了 位 于 不 同 国家 的 数据 中 心 之 间 数 据 的 流动 性 。 此 外 ，SLA 在 特定 的 法 律 规定 
的 范围 内 被 接受 ， 但 由 于 数据 的 流动 性 ， 这 样 的 法 律 未 必 有 效 ， 可 能 不 能 保护 客户 权利 。 更 
糟糕 的 情况 是 ， 没 有 具体 说 明 适 用 法 律 就 签署 了 协议 。 

管辖 权 问题 也 可 能 出 现在 转 包 的 情况 下 。 在 云 计算 联盟 这 是 一 个 很 常见 的 情况 : 一 个 云 
供应 商 利用 其 他 供应 商 的 服务 和 设施 为 客户 提供 服务 。 对 用 户 这 多 半 是 透明 地 完成 的 。 若 服 
务 传递 失败 ， 将 很 难为 去 用 户 找 出 真正 的 原因 。 在 这 种 情况 下 ， 该 方案 由 这 些 事实 复杂 化 : 
不 同 地 区 、 不 同 组 织 参与 提供 服务 给 最 终 用 户 。 

不 同 的 司法 管辖 区 导致 的 结果 也 称 为 法 律 冲突 ， 它 承认 一 个 事实 ， 即 不 同 国家 的 法 律 可 
以 相互 对 立地 操作 ， 即 使 它们 涉及 同一 主题 。 一 般 的 经 验 法 则 是 ， 由 于 每 个 国家 在 它 自 己 的 
领土 上 是 独立 自主 的 ， 所 以 一 个 国家 的 法 律 会 影响 到 其 内 部 所 有 人 和 财产 ， 包 括 签订 的 合约 
和 在 其 境内 开展 的 行动 。 正 如 我 们 已 经 看 到 的 ，SLA 应 清楚 说 明 管 辖 法 律 ， 以 及 在 提供 服务 
给 终端 用 户 时 可 能 涉及 的 其 他 司法 管辖 问题 。 

除了 管辖 权 问题 ， 有 关 法 律 诉讼 程序 还 有 其 他 重要 方面 ， 这 将 是 一 场 法 律 纠纷 的 法 院 程 
序 。 在 这 种 情况 下 ， 一 方 可 以 要 求 另 一 方 以 电子 文档 方式 (电子 邮件 、 报 告 、 财 务 记录 等 ) 
提供 数据 证 据 ， 这 个 过 程 也 被 称 为 电子 证 据 。 当 对 云 计 算数 据 和 系统 的 控制 被 转移 给 第 三 方 
时 出 现 了 一 个 有 趣 的 挑战 ， 以 缺乏 电子 存储 信息 为 由 而 不 提供 电子 证 据 显然 是 行 不 通 的 , 7 
大 多 数 情况 下 ， 这 会 导致 一 些 费用 。 

传统 上 ， 企 业 组 织 员 工 及 内 部 程序 用 所 需 的 信息 响应 电子 证 据 过 程 。 在 这 种 情况 下 ， 企 
业 利 用 云 服 务 供应 商 ， 没 有 基础 设施 和 雇员 直接 管理 这 些 活 动 ; 相反， 数据 和 它 的 辅助 功能 
的 维护 都 转移 到 云 服务 供应 商 。 因 此 ， 挑 战 涉及 长 期 地 存储 和 检索 敏感 数据 。 由 于 存储 通常 
收费 ， 并 在 云 中 有 运营 成 本 ， 这 可 能 会 给 想 利用 云 的 企业 带 来 额外 的 负担 。 第 二 ， 除 了 供应 
商 的 商业 生存 ， 数 据 访问 是 电子 证 据 的 另 一 个 值得 关注 元 素 。 

(4) 云 联盟 的 影响 

本 节 主 要 讨论 从 云 服务 消费 者 和 供应 商 之 间 的 相互 作用 的 角度 来 看 ， 利 用 云 计算 解决 方案 
可 能 出 现 的 法 律 问题 。 这 些 问 题 将 如 何 影响 云 联盟 ? 是否 还 有 从 法 律 角度 来 考虑 的 其 他 因素 ? 

我 们 可 以 观察 到 ， 不 同 的 去 供应 商 之 间 的 交互 以 转 包 形 式 发 生 ， 或 以 一 个 正常 的 交互 发 
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生 在 一 个 消费 者 和 供应 商 之 间 ， 而 消费 者 的 角色 由 另 一 个 云 供 应 商 扮演 。 因 此 ， 先 前 介绍 的 
所 有 法 律 问题 都 适用 。 如 上 所 述 ， 不同 的 供应 商 提 供 的 服务 被 组 合 在 一 起 提供 给 终端 的 服务 
给 云 的 用 户 审 来 了 额外 的 问题 。 这 是 因为 合同 的 相互 作用 可 能 会 跨越 不 同 的 地 域 ， 必 然 涉及 
不 同 的 组 织 。 未 来 有 希望 建立 一 个 联盟 以 帮助 定义 一 个 更 好 的 法 律 实体 ， 遵 守 参 与 交易 的 云 
服务 供应 商 和 用 户 所 在 国家 的 所 有 法 律 法 规 ， 且 统一 所 有 联盟 。 


11.3.4 云 联盟 技术 


尽管 云 计算 联盟 或 互联 云 的 概念 还 很 不 成 熟 ， 但 至 少 从 操作 的 角度 上 有 一 些 配套 的 技术 
能 部 萌 可 互 操作 的 云 。 这 些 举措 大 多 起 源 于 学 术 界 ， 主 要 侧重 于 在 不 同 的 laas 实现 中 支持 
互 操作 性 ， 有 限 地 实施 在 逻辑 层 中 定义 的 功能 。 

1. Reservoir 

资源 和 服务 虚拟 化 无 障碍 ， 即 RESERVOIR [155] ， 是 欧洲 的 一 个 研究 项 目 ， 重 点 是 开 
发 文 持 云 计 算 基 础 设施 的 供应 商 的 架构 ， 与 对 方 动态 地 彼此 合作 来 扩展 自己 的 功能 ， 同 时 保 
Pa FLAT IE A EAL. RESERVOIR 定义 了 一 个 软件 栈 ， 在 laas 层 实 现 互 操作 并 支持 应 用 程序 在 
基础 设施 的 项 部 基于 SLA 执行 ， 且 从 基础 设施 供应 商 联盟 产生 。 

RESERVOIR 是 基于 动态 联盟 的 概念 : 每 个 基础 设施 供应 商 是 一 个 独立 的 业务 ， 有 自己 
的 业务 目标 ， 需 要 时 可 能 会 决定 合作 伙伴 与 其 他 企业 。 采 用 在 每 个 站 点 部 署 RESERVOIR 中 
回 件 的 方式 获得 联盟 。 特 定 网 站 上 的 IT 管理 是 完全 独立 的 ， 并 依赖 该 网 站 的 业务 目标 的 政 
Ro in BAY, ARRIT 资源 在 议价 的 SLA 的 范围 内 出 租 给 其 他 供应 商 。RESERVOIR 的 作用 
是 协调 这 一 过 程 ， 并 最 大 限度 地 减少 不 同 管理 域 之 间 的 互 操作 障碍 。 

图 11-10 提供 了 一 个 RESERVOIR 云 的 一 般 概述 。 该 框架 定义 了 一 个 基础 设施 覆盖 ， 跨 
越 多 个 管理 域 和 不 同 的 地 理 位 置 。 每 个 站 点 运行 RESERVOIR 的 软件 栈 ， 并 提供 按 需 执行 环 
境 ， 服 务 应 用 程序 的 组 件 可 以 在 其 中 部 署 和 执行 。 该 模型 引入 了 服务 供应 商 和 基础 设施 供应 商 
之 间 的 明确 分 工 。 服 务 供应 商 是 实体 ， 能 够 理解 特定 的 业务 需求 ， 并 提供 服务 应 用 程序 以 满 
足 这 些 需 求 ， 他 们 没有 自己 的 基础 设施 ， 而 是 从 基础 设施 供应 商 租 用 。 基 础 设施 供应 商 经 营 
RESERVOIR 网 站 ， 并 提供 了 几乎 无 限 的 计算 、 网 络 和 存储 资源 地。 服务 供应 商定 义 服务 应 用 
程序 被 建 模 为 一 个 可 以 部 署 在 分 布 式 虚拟 基础 设施 的 组 件 的 集合 ， 组 件 可 以 显 式 或 隐 式 配置 。 
第 一 种 情况 下 ， 服 务 供应 商 进 行 大 小 调整 和 容量 规划 研究 ， 以 确定 一 个 给 定 的 工作 负荷 条 件 下 
需要 的 组 件 的 适当 数目 。 该 规范 是 通过 最 小 的 服务 配置 和 一 套 弹 性 的 规则 获得 的 ， 在 变化 的 工 
作 负 荷 条 件 下 RESERVOIR 使 用 该 规范 动态 地 提供 资源 。 第 二 种 情况 下 ， 服 务 供应 商 提供 一 个 
最 小 的 服务 配置 ， 但 没有 弹性 规则 。 大 小 调整 是 由 RESERVOIR 中 间 件 自动 进行 的 ， 目 标 是 减 
少 过 度 配置 。 服 务 供 应 商 按 即 付 即 用 模式 计 费 ， 并 可 以 通过 使 用 报告 来 验证 计 费 。 

服务 应 用 程序 组 件 表示 为 虚拟 软件 包 ， 同 时 规定 执行 环境 的 要 求 。 基 础 设施 供应 商 可 以 
利用 可 选 的 任何 虚拟 化 技术 ， 并 负责 为 这 类 应 用 程序 提供 所 需 的 环境 。 确 定 服 务 应 用 程序 虚 
拟 环境 的 一 个 重要 因素 是 服务 清单 ， 这 是 RESERVOIR 模型 的 关键 要 素 之 一 ， 按 将 被 部 署 为 
虚拟 执行 环境 (VEE) 的 组 件 类 型 指定 服务 应 用 程序 的 结构 。 服 务 清 单 包含 对 主 映像 的 引用 ， 
这 是 一 个 自 包 含 的 软件 栈 (操作 系统 、 中 间 件 、 应 用 程序 、 数 据 和 配置 )， 充 分 捕获 组 件 类 
型 的 功能 。 其 他 的 信息 和 规则 规定 部 署 多 少 个 实例 ， 以 及 如 何 动 态 地 扩展 和 收缩 实例 数量 。 
另外 ， 该 清单 还 规定 组 件 的 分 组 进入 虚拟 网 络 或 形成 服务 应 用 程序 的 层 。 该 清单 是 通过 扩展 
开放 虚拟 化 格式 以 简化 互 操作 性 并 利用 已 经 存在 的 流行 的 标准 来 表示 的 。 


302 ZERA 工业 云 联 台 与 新 进展 


0 


™™ 


ee -l 


oy 








de ee nyae ont ne ey as 





--| W&g RESERVOIR 站 点 1 


asec umne 站 点 2 X 


图 11-10 RESERVOIR Z% 


图 11-11 摘 述 了 一 个 RESERVOIR 网 站 的 内 部 架构 ， 能 执行 基于 联盟 和 SLA 的 应 用 程 
RESERVOIR 堆栈 由 三 个 主要 部 分 组 成 : 
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11-11 RESERVOIR 架构 


© 服务 管理 器 。 服 务 管理 器 是 最 高 级 抽象 ， 构 成 前 端 ， 服 务 供 应 商用 前 端 来 提交 服务 
消 单 、 协 商定 价 和 监控 应 用 程序 。 该 组 件 根据 服务 清单 部 署 和 规定 VEE， 通 过 控制 
服务 应 用 程序 的 功能 监控 和 强制 实现 SLA。 

© 庶 拟 执行 环境 (VEE) 管理 器 。 这 个 组 件 是 RESERVOIR 中 间 件 的 核心 ， 根 据 服 务 管 
理 融 表达 的 约束 负责 将 最 优化 VEE 放置 到 VEE 主机。 此 外 ，VEE 管理 器 还 与 其 他 
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网 站 VEE EERS H NIRI MARET ITEA Ob A Se RA EE VEE 到 其 
他 网 站 。 该 组 件 实现 了 云 联盟 的 价值 。 
e VEE 主机 (VEEH)。 这 是 最 低级 抽象 ， 与 VEE 管理 器 进行 交互 ,将 虚拟 化 平台 的 异 
构 集 的 IT 管理 决策 付 诸 实践 。 这 一 级 也 负责 确保 属于 相同 的 应 用 程序 的 VEE 之 间 适 
当 和 抓 立 的 网 络 。 该 VEEH 封装 所 有 具体 平台 管理 ， 但 要 求 通过 标准 化 VEE 管理 器 
的 接口 公开 平台 使 用 的 虚拟 化 技术 。 
每 个 组 件 采 用 一 个 标准 化 的 接口 和 协议 与 相 邻 的 层 互 操作 。 这 种 设计 决策 是 为 了 促进 每 
一 层 产 生 多 种 创新 方法 。 它 让 基础 设施 供应 商 月 由 地 集成 RESERVOIR 中 间 件 与 自己 现 有 的 
技术 。 
2. 互联 云 
互联 云 是 云 联盟 面向 服务 的 架构 框架 ,支持 效用 驱动 的 云 互 联 。 互 联 云 由 一 组 独立 元 素 
组 成 ， 通 过 面向 市 场 的 系统 交互 来 交易 云 资产 ， 如 应 用 程序 的 计算 能 力 、 存 储 和 应 用 执行 。 
如 图 11-12 所 示 ， 互 联 云 模型 包括 两 个 主要 元 素 : BAMA : 





b 48b o Zo 
ap ga 用 户 接 
He TLL EF FEE 
(如 Eucalyptus ) J 
云 协调 器 |< 







云 协 调 需 
虚拟 机 管理 器 ”此 
(如 开放 式 Nebula) | 
图 11-12 互联 云 架构 


o 云 交 易 所 。 这 是 架构 中 的 市 场 组 件 。 它 提供 的 服务 允许 供应 商 直 接 交 易 云 资 产 ， 以 
及 允许 一 方 注册 并 进行 拍卖 。 在 第 一 种 情况 下 ， 云 交易 所 作为 一 个 联盟 服务 目录 。 
在 第 二 种 情况 下 ， 云 交易 所 进行 拍卖 。 为 了 给 联盟 提供 这 样 的 服务 ， 云 交易 所 实现 
了 一 个 基于 Web 服务 的 接口 。 云 交易 所 允许 数据 中 心 加 入 和 离开 联盟 ; 发 布 他 们 希 
望 出 售 的 资源 ;登记 资源 请 求 ， 使 感 兴趣 的 销售 供应 商 能 够 为 他 们 的 资源 找到 潜在 
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的 客户 ; 查询 符合 具体 要 求 的 资源 报价 ; 查询 匹配 可 用 资源 请 求 的 一 方 ; Moa ae 
撤回 供给 和 请 求 信息 ; 在 拍卖 中 提供 资源 ; 注册 投标 ; 咨询 拍卖 状况 。 

e 云 协 调 器 。 这 个 组 件 管理 联盟 专用 领域 中 的 相关 问题 ， 呈 现 给 希望 加 入 联盟 的 每 一 
方 ， 包 括 前 端 组 件 ( 即 与 联盟 交互 的 元 素 ) 和 后 端 组 件 ( 即 与 相关 联 的 数据 中 心 进行 
交互 的 组 件 )。 前 端 组 件 与 云 交易 所 和 其 他 协调 器 交互 。 前 者 允许 数据 中 心 公布 他 们 
的 供给 和 需求 ， 后 者 让 协调 器 了 解数 据 中 心 的 当前 状态 以 决定 联盟 的 行动 是 否 必 需 - 
因此 ,不管 协调 器 在 哪 检测 到 数据 中 心 要 求 的 额外 的 资源 ， 它 都 会 触发 潜在 的 供应 
商 发 现 的 过 程 (通过 与 云 联盟 交互 )。 一 旦 发 现 潜在 的 供应 商 就 选择 最 好 的 一 个 ， 由 
协调 器 联系 远程 协调 和 协商 。 同 样 地 ， 当 协调 器 检测 到 本 地 资源 是 能 够 充分 利用 的 ， 
便 可 以 在 云 交 易 所 发 布 资 源 报价 或 者 寻找 在 交换 服务 登记 的 多 个 需求 之 间 的 匹配 。 

协商 各 方 之 间 遵 守 Alternate Offers 协议 。 每 个 协调 器 愿意 支付 的 资源 的 价值 以 及 各 协 

调 器 要 出 售 资 源 的 价值 ， 并 不 是 联盟 定义 的 ; 相反 ， 根 据 利 用 率 与 效益 估算 ， 每 个 协调 器 自 
由 地 给 资源 确定 价值 ， 而 且 他 们 可 以 自由 地 拒绝 不 感 兴趣 的 供给 。 供 应 商 决定 购买 或 出 售 资 
源 的 多 少 、 时 间 、 价 格 和 方式 ， 这 种 灵活 性 是 供应 商 加 入 互联 云 联盟 的 一 大 动力 。 供 应 商 如 
果 不 同 意 价格 可 以 拒绝 购买 或 出 售 资源 ， 同 样 ， 他 们 可 以 倾向 于 选择 似乎 更 有 利 可 图 的 方法 
(例如 拍卖 或 固定 价格 )。 

此 外 ,互联 云 的 作用 主要 是 在 业务 层 。 这 意味 着 有 关 安 全 、 虚 拟 机 镜像 和 网 络 的 问题 不 

由 框架 处 理 。 同 样 ， 供 应 商 的 职责 和 加 入 联盟 的 期 望 也 不 由 框架 解决 。 因 此 ， 这 些 层 的 现 有 
的 方法 或 新 的 解决 方案 ， 可 以 在 不 改变 架构 的 情况 下 应 用 在 互联 云 。 


11.3.5 结论 


云 服务 供应 商 也 许 是 互相 竞争 的 ， 建 立 一 个 联盟 需要 有 明确 的 目标 和 激励 机 制 。 其 中 一 
个 主要 的 原因 是 可 以 提高 客户 可 感知 的 整体 QoS。 创 建 联盟 方案 的 第 二 步 是 为 云 联 盟 定义 一 
个 参考 模型 和 一 组 规则 和 策略 。 这 一 步 采用 面向 市 场 模型 ， 也 是 租用 资源 发 展 的 机 遇 。 在 这 
一 阶段 的 发 展 与 成 熟 仍 非常 有 限 。 在 一 个 非常 低 的 层次 上 ,不同 的 云 供应 商 的 联盟 是 通过 互 
操作 技术 实现 的 。 这 一 领域 已 经 得 到 长 足 的 发 展 ， 特 别 是 支持 互 操作 性 的 标准 草案 的 形成 。 
我 们 已 经 讨论 了 这 个 方向 最 相关 的 举措 ， 并 分 析 了 一 些 在 laas 级 可 用 的 云 联 盟 系统 的 参考 
和 实现 原型 。 


11.4 第 三 方 云 服 务 


对 于 不 同 供应 商 的 服务 ， 云 计算 的 一 个 关键 要 素 是 组 合 服务 的 可 能 性 ， 或 将 它们 集成 到 
现 有 软件 系统 。 面 向 服务 的 模型 是 云 计 算 的 基础 ， 使 此 方案 更 容易 实现 ， 并 为 开发 新 的 服务 
类 型 提供 了 机 会 。 新 的 服务 类 型 可 以 称 为 第 三 方 云 服 务 ， 这 些 是 已 经 存在 的 云 计 算 服 务 增值 
的 结果 ， 从 而 为 客户 提供 不 同 的 和 更 先进 的 服务 。 增 加 的 值 可 以 通过 巧妙 地 协调 现 有 服务 去 
创建 或 在 现 有 基础 服务 之 上 实现 附加 功能 。 

除了 这 个 一 般 的 定义 ， 没 有 具体 的 特征 能 描述 该 类 服务 的 特点 ， 本 节 将 描述 第 三 方 服务 
的 一 些 例子 。 


11.4.1 MetaCDN 
MetaCDN [158] 为 用 户 提供 了 内 容 分 发 网 络 (CDN) [159] ， 通 过 利用 和 共同 管理 异 构 


RUF 去 计划 高 级 主题 


仓储 云 提供 服务 。 它 包括 各 种 软件 ， 协 调 不 同 的 云 存 储 供应 商 的 服务 产品 ， 并 用 它们 作为 该 
用 己 和 存储 内 容 的 分 布 弹性 存储 。MetaCDN 为 用 户 提供 了 CDN 的 高 级 别 服务 ， 发 布 内 容 并 与 
低层 存储 云 接口 交互 ， 最 优 地 将 用 户 的 内 容 根据 其 需求 的 预期 地 理 位 置 进行 放置 。 利 用 云 作 
为 存储 后 端 ， 小 企业 也 能 使 用 一 个 复杂 (和 一 般 来 说 昂贵 的 ) 的 内 容 发 布 服务 。 

MetaCDN 的 架构 如 图 11-13 所 示 。 该 MetaCDN 接口 通过 Web 用 户 和 应 用 程序 公开 其 
服务 ， 用 户 与 门户 网 站 进行 交互 ， 而 应 用 程序 利用 Web 服务 方式 提供 编程 访问 。MetaCDN 
的 主要 业务 是 建立 云 存 储 上 的 部 署 和 管理 。 门 户 网 站 提供 了 一 个 更 直观 的 界面 ， 为 用 户 提供 
基本 的 需求 ， 而 Web 服务 提供 了 访问 MetaCDN 的 全 部 功能 ， 并 人 允许 更 复杂 和 更 详细 的 部 署 。 
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图 11-13 MetaCDN 架构 


特别 地 ， 可 以 选择 四 个 不 同 的 部 壮 选 项 : 

© 履 姜 范围 和 性 能 优化 的 部 署 。 在 这 种 情况 下 ，MetaCDN 能 部 署 尽 可 能 多 的 副本 到 所 
有 可 用 的 位 置 。 

© 直接 部 署 。 在 这 种 情况 下 ，MetaCDN 允许 对 内 容 选择 部 署 区 域 和 将 选 定 区 域 和 服务 
与 这 些 区 域 支 持 的 供应 商 匹配 。 

© 成 本 优化 部 署 。 在 这 种 情况 下 ，MetaCDN 部 署 尽 可 能 多 的 副本 在 所 确定 的 部 署 请 求 的 
位 置 。 可 用 存储 传输 补贴 和 预算 将 用 于 部 署 副本 ， 并 让 它们 尽 可 能 长 时 间 地 保持 活跃。 

© QoS 优化 配置 。 在 这 种 情况 下 ，MetaCDN 选择 能 够 更 好 地 匹配 连接 到 部 署 的 QoS 要 
求 的 供应 商 ， 例 如 特定 位 置 的 平均 啊 应 时 间 和 重 吐 量 。 
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为 提供 这 些 服务 ， 需 要 一 系列 组 件 协调 其 活动 。 这 些 构 成 了 MetaCDN 带 来 的 附加 
价值 ， 用 户 在 云 的 顶端 直接 使 用 存储 云 。 三 个 特别 重要 的 组 成 部 分 是 MetaCDN 管理 器 、 
MetaCDN QoS 监控 器 和 负载 重 定向 器 。 管 理 需 负责 确保 所 有 内 容 部 署 满足 预期 的 QoS， 人 它 
由 这 个 活动 中 的 监控 器 支持 ， 不 断 地 探测 存储 器 供应 商 和 监控 数据 传输 ， 以 评估 每 个 供应 商 
的 绩效 。 内 容 服务 由 负载 重 定向 器 控制 ， 它 负责 重 定向 用 户 的 内 容 请 求 到 系统 的 给 定 条 件 和 
部 署 过 程 中 指定 的 选项 。 与 存储 云 交 互 是 由 连接 器 管 理 的 ， 它 抽象 了 供应 商 公 布 的 不 同 的 接 
口 ， 提 供 MetaCDN 系统 内 的 一 个 统一 的 接口 。 

如 前 所 述 ，MetaCDN 的 核心 价值 在 于 软件 集成 ， 使 统一 使 用 的 异 构 存 储 云 作为 一 个 单 
一 的 、 大 型 的 、 分 布 式 内 容 发 布 网 络 。 其 优点 是 不 仅 按 访问 成 本 提供 CDN 服务 ， 而 且 还 丰 
富 了 原来 的 服务 产品 ， 能 够 为 现 有 的 云 服务 提供 额外 的 功能 ， 从 而 创造 一 个 新 的 、 更 复杂 
的 、 新 的 市 场 部 门 会 感 兴趣 的 服务 。 


11.4.2 SpotCloud 


SpotCloud 是 虚拟 市 场 的 一 个 实例 。 作 为 消费 者 和 服务 供应 商 之 间 的 交易 计算 和 存储 的 
媒介 ， 它 给 双方 提供 附加 值 。 对 于 服务 的 消费 者 ， 它 是 一 个 市 场 目 录 ， 可 以 浏览 和 比较 不 同 
的 IaaS 服务 产品 ， 并 选择 最 合适 的 解决 方案 。 对 于 服务 供应 商 而 言 ， 它 提供 宣传 产品 的 机 
会 。 此 外 ， 它 允许 有 可 用 计算 能 力 的 用 户 通 过 在 基础 设施 上 部 署 SpotCloud 所 需 的 运行 时 环 
境 ， 轻 松 地 将 自己 变 成 服务 供应 商 ( 见 图 11-14 )。 


身份 供应 商 (存储 ) 
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图 11-14 SpotCloud 市 场 架 构 
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SpotCloud 不 仅 是 一 个 IaaS 供应 商 和 分 销 商 的 促成 者 ， 它 的 中 介 作 用 还 包括 与 资源 使 用 
相关 的 交易 的 完整 记 账 。 用 户 在 SpotCloud 账户 中 存款 ， 并 通常 按照 即 付 即 用 模式 支付 给 容 
量 的 卖家 。SpotCloud 保留 用 户 计 费 的 数量 的 百分比 。 此 外 ， 通 过 利用 一 个 统一 的 运行 环境 
和 虚拟 机 管理 层 ， 它 为 用 户 提 供 厂 商 免 绑 定 的 解决 方案 ， 这 可 能 是 战略 的 具体 应 用 。 

本 节 提 出 的 两 个 例子 给 出 了 不 同性 质 的 第 三 方 服 务 的 实现 方法 : MetaCDN 为 终端 用 户 
提供 不 同 于 简单 的 云 存 储 产 品 的 服务 ; SpotCloud 不 改变 最 终 提 供给 终端 用 户 的 服务 类 型 ， 
但 用 附加 功能 丰富 了 服务 类 型 ， 可 以 更 有 效 地 利用 服务 。 这 是 两 个 市 场 方式 的 例子 ， 云 计算 
作为 一 种 更 智能 地 使 用 IT 资源 的 方法 正在 不 断 发 展 。 


本 章 小 结 


本 章 介绍 了 描述 和 驱动 云 计算 的 研究 和 发 展 的 一 些 高 级 主题 。 当 云 计算 技术 日 益 巩 固 
时 ， 这 些 主题 变 得 尤为 重要 。 

考虑 到 支持 云 供应 商 服 务 产品 的 计算 设备 的 巨大 规模 ， 节 能 解决 方案 起 到 了 根本 性 的 作 
用 ,包括 更 智能 、 更 环保 的 数据 中 心 设计 ， 以 及 虚拟 机 优化 布局 和 能 源 驱 动 的 服务 融 管 理 。 
节能 解决 方案 不 仅 有 助 于 降低 电费 ， 也 减少 了 计算 设施 对 环境 的 影响 。 虽 然 高 级 云 计算 种 来 
的 这 个 问题 还 存在 争议 , 但 它 有 可 能 提供 更 环保 的 技术 。 

除了 高 效 节能 外 ， 面 向 市 场 的 云 计算 (MOCC) 和 互联 云 是 最 优 服务 交付 的 重要 进展 。 
MOCC 是 云 计算 的 正常 演变 ， 该 技术 使 云 计 算得 到 巩固 和 商品 化 。IaaS 细 分 市 场 的 成 熟 有 


利于 建立 更 复杂 的 市 场 模 式 。 最 新 进展 表明 ， 以 云 服务 代理 和 拍卖 为 基础 的 模型 对 于 更 好 的 


资源 管理 策略 是 有 用 的 。MOCC 的 最 终 目 标 是 创造 有 利于 计算 实用 程序 交易 领域 的 全 球 虚 
拟 市 场 。 

此 外 ， 云 联盟 支持 MOCC 实施 ， 通 过 部 署 基础 设施 和 定义 组 织 模型 使 云 供应 商 之 间 能 
够 互 操作 。 目 前 ， 客 户 依赖 单个 供应 商 或 自行 从 不 同 的 云 供 应 商 组 合 服务 。 随 着 云 联盟 的 实 
现 ， 用 户 将 能 够 利用 多 个 云 。 

本 章 最 后 讨论 了 第 三 方 服 务 ， 如 MetaCDN 和 SpotCloud， 这 是 通过 利用 多 个 云 供应 商 
提供 的 服务 建立 的 。 一 些 SaaS 解决 方案 可 能 会 被 归 类 为 第 三 方 服务 ， 基 本 上 是 增值 分 销 商 。 
这 意味 着 他 们 通过 组 合 和 使 用 其 他 云 服务 来 实现 增值 和 销售 。 
习题 
， 什么 是 能 效 计 算 ? 为 什么 它 是 云 计 算 的 根本 ? 

， 所 有 功 耗 管理 技术 的 基本 原理 是 什么 ? 

. DVFS 代表 什么 ? 它 在 云 计 算 中 是 如 何 起 作用 的 ? 

， 比 较 硬 件 和 软件 功 耗 管理 技术 。 

.什么 是 服务 器 整合 ”为 什么 它 也 是 一 项 功 耗 管理 策略 ? 
什么 是 面向 市 场 的 云 计算 ? 

， 实 现 一 个 基于 MOCC 的 系统 的 主要 部 件 是 什么 ? 

. 什么 是 虚拟 市 场 ? 

什么 是 云 联 盟 ? 

表示 互联 云 和 云 联盟 的 概念 的 三 个 不 同 层 次 是 什么 ? 
11， 建 立 一 个 联盟 的 动机 是 什么 ? 
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. 业务 和 逻辑 层面 必须 解决 什么 样 的 挑战 ? 

.什么 是 基础 设施 级 的 领域 ? 在 云 计算 参 考 模型 哪 一 层 表 示 这 个 级 别 ? 
.什么 样 的 标准 和 协议 可 用 于 实现 云 联盟 的 互 操作 性 ? 
.什么 是 互联 云 ? 

.描述 RESERVOIR 项 目的 主要 特征 。 

. 描述 在 联盟 环境 中 标准 的 作用 。 

.什么 是 云 联 盟 环 境 中 的 安全 问题 ? 

. 云 联 盟 的 背景 下 可 能 产生 的 法 律 问题 是 什么 ? 
.什么 是 第 三 方 云 服 务 ? 

.给 出 第 三 方 云 服务 的 一 些 例子 。 
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Service, defined (服务 定义 ) , 20 
Service choreography (服务 编排 ) , 63 
Service orchestration (服务 协同 ) , 63 
Service-level agreement(SLA， 服 务 等 级 协议 ) , 8-9 
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Small Computer System Interface ( SCSI， 小 型 计算 
机 系统 接口 ) , 76 


334 ie žl 


Smalltalk, 87-88 
Social networking application of cloud computing (zs 
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application (应 用 ) , 121-122 
application service provider( ASP， 应 用 服务 供应 
R) , 122 
CRM, ERP, and social networking application 
(CRM, ERP 和 社会 网 络 应 用 ) , 123 
office automation application (办 公 自 动 化 应 用 ) , 
124 
SaaS 2.0, 123 
Software Information & Industry Association ( SIIA , 
软件 信息 与 工业 协会 ) , 122 
SolarisZones, 87 
Sphere model (Sphere 模型 ) , 275 
Sphere Process Engines(SPE), 275 
SpotCloud, 388, 425, 426f 
Stack-based virtual machine (基于 栈 的 虚拟 机 ) , 88 
Standards Acceleration to Jump start Adoption of 
Cloud Computing(SAJACC， 促 进 云 计算 应 
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high-throughput computing ( HTC， 高 吞吐 量 计 
算 ) , 213-214 
many-task computing (MTC， 多 任务 计算 ) ,214 
middleware needs for (中 间 件 要 求 ) ,211-212 
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Third-party cloud service (第 三 方 云 服务 ) , 422-425 
MetaCDN, 423-425, 424f 
SpotCloud, 425, 426f 
Threading, programming application with (线程 编 
程 应 用 ) ( 见 Multithreaded application with 
Aneka) , 173-189 
computation vs communication (计算 相对 于 通信 ) , 
189 
context Switch (线程 切换 ) , 174 
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177-189 
Portable Operating System Interface for UNIX 
(POSIX) thread (用 于 UNIX 线程 的 可 移植 
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云 计 算 : 概念 、 技 术 与 架构 
作者 :Thomas Er 等 3#. BF) 等 ISBN: 978-7-111-46134-0 定价 ，69.00 元 


“我 读 过 Thomas Erl 写 的 每 一 本 书 ， 云 计算 这 本 书 是 他 的 又 一 部 杰作 ， 再 次 证 明了 Thomas Eriti i i Rt 
题 却 以 一 种 符合 还 辑 而 且 吻 懂 的 方式 提供 关键 核心 概念 和 技术 信息 的 军 见 能 力 。” 


Melanie A. Allison, Integrated Consulting Services 





在 本 书 中 ， 世 界 上 最 畅销 的 IT 书籍 作者 之 一 Thomas Erl 联 合 云 计 算 专 家 和 研究 者 ， 详 细 分 析 了 业已 证 明 的 、 成 
熟 的 云 计算 技术 和 实践 ， 并 将 其 组 织 成 一 系列 定义 准确 的 概念 、 模 型 、 技 术 机 制 和 技术 架构 ， 所 有 这 些 都 是 以 工 
业 为 中 心 但 是 与 厂商 无 关 的 。 

本 书 理论 与 实践 并 重 ， 重 点 放 在 主流 云 计算 平台 和 解决 方案 的 结构 和 基础 上 。 除 了 以 技术 为 中 心 的 内 容 以 
外 ， 还 包括 以 商业 为 中 心 的 模型 和 标准 ， 以 便 读者 对 基于 云 的 !T 资 源 进 行经 济 评估 ， 把 它们 与 传统 企业 内 部 的 iT 资 
源 进行 比较 。 此 外 ， 本 书 提供 了 一 些 用 来 计算 与 SLA 相 关 的 服务 质量 的 模板 和 公式 ， 还 给 出 了 大 量 的 3oa3、Paas 
和 IaasS 交 付 模 型 。 

本 书包 括 超 过 260 幅 图 、29 个 架构 模型 和 20 种 机 制 ， 是 一 本 不 可 或 缺 的 指导 书 ， 是 对 云 计 算 技术 的 详细 解读 。 


云 计算 与 分 布 式 系统 : 从 并 行 处 理 到 物 联网 


作者 : Kai Hwang 等 译 者 ， 武 永 卫 等 ISBN: 978-7-111-41065-2 定价 ，85.00 元 


“本 书 是 一 本 全 面 而 新 疾 的 教材 ， 内 容 禾 盖 高 性 能 计算 、 分 布 式 与 云 计算 、 虚 拟 化 和 网 格 计 算 。 作 者 将 应 用 与 技 
术 趋 势 相 结合 ， 揭 示 了 计算 的 未 来 发 展 。 无 论 是 对 在 校 学 生还 是 经 验 丰富 的 实践 者 ， 本 书 都 是 一 本 优秀 的 读物 
— Thomas J. Hacker, 普度 大 学 


本 书 是 一 本 完整 讲述 云 计算 与 分 布 式 系统 基本 理论 及 其 应 用 的 教材 。 书 中 从 现代 分 布 式 模型 概述 开始 ， 介 绍 
了 并 行 、 分 布 式 与 云 计 算 系 统 的 设计 原理 、 系 统 体系 结构 和 创新 应 用 ， 并 通过 开源 应 用 和 商业 应 用 例子 ， 阐 述 了 
如 何 为 科研 、 电 子 商 务 、 社 会 网 络 和 超级 计算 等 创建 高 性 能 、 可 扩展 的 、 可 靠 的 系统 。 
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